是否应该让 GPTBot/1.2 抓取网站 了解详情
BLEXBot 爬虫是一个自动化的机器人,它访问页面以检查和分析内容,从这个意义上说它类似于主要搜索引擎公司使用的机器人。
| # | IP 地址 | Hostname | 国家代码 | 旗帜 |
|---|---|---|---|---|
| 1 | 162.55.86.62 | static.62.86.55.162.clients.your-server.de | DE |
|
| 2 | 157.90.91.229 | ninja-crawler78.webmeup.com | DE |
|
| 3 | 157.90.209.76 | ninja-crawler84.webmeup.com | DE |
|
| 4 | 157.90.181.207 | ninja-crawler85.webmeup.com | DE |
|
| 5 | 157.90.182.29 | ninja-crawler88.webmeup.com | DE |
|
| 6 | 162.55.85.222 | ninja-crawler103.webmeup.com | DE |
|
| 7 | 157.90.182.23 | ninja-crawler94.webmeup.com | DE |
|
| 8 | 157.90.209.77 | ninja-crawler83.webmeup.com | DE |
|
| 9 | 162.55.86.62 | ninja-crawler110.webmeup.com | DE |
|
| 10 | 162.55.85.215 | ninja-crawler107.webmeup.com | DE |
|
| # | IP 地址 | Hostname | 国家代码 | 旗帜 |
|---|---|---|---|---|
| 1 | 116.202.246.181 | node01.belprime.net | DE |
|
| 2 | 136.243.170.146 | static.146.170.243.136.clients.your-server.de | DE |
|
BLEXBot 爬虫是一种自动访问页面以检查和分析内容的机器人。
BLEXBot 帮助互联网营销人员获取有关网站链接结构及其在网络上的相互链接的信息,以避免任何技术和可能的法律问题并改善整体在线体验。
BLEXBot 遵守 robots.txt 协议,如果您要禁止 BLEXBot 抓取整个网站写法如下:
User-agent: BLEXBot
Disallow: /
如果禁止 BLEXBot 抓取 private 和 messages 目录写法如下:
User-agent: BLEXBot
Disallow: /private/
Disallow: /messages/
最多 10s 抓取一次网站:
User-agent: BLEXBot
Crawl-delay: 10
| # | IP 地址 | Hostname | 国家代码 | 旗帜 |
|---|---|---|---|---|
| 1 | 135.181.3.228 | discovery-crawler29.blex.seranking.com | FI |
|
| 2 | 37.27.51.142 | discovery-crawler35.blex.seranking.com | DE |
|
| 3 | 37.27.51.145 | rondo-crawler11.blex.seranking.com | DE |
|
| 4 | 144.76.19.147 | discovery-crawler9.blex.seranking.com | DE |
|
| 5 | 144.76.19.149 | discovery-crawler7.blex.seranking.com | DE |
|
| 6 | 144.76.32.94 | discovery-crawler16.blex.seranking.com | DE |
|
| 7 | 144.76.32.72 | discovery-crawler23.blex.seopowersuite.com | DE |
|
| 8 | 144.76.33.36 | discovery-crawler21.blex.seopowersuite.com | DE |
|
| 9 | 144.76.19.11 | discovery-crawler4.blex.seranking.com | DE |
|
| 10 | 157.90.91.229 | ninja-crawler78.blex.seranking.com | DE |
|