是否应该让 GPTBot/1.2 抓取网站 了解详情
OpenindexSpider 是由 Openindex B.V. 运营的网络爬虫,用于自动抓取网页内容以支持其搜索与数据服务。它遵循通用网络蜘蛛行为准则,通过标识自身的 User-Agent 字符串来明确其身份。
作为 网络蜘蛛(Web Crawler) 定期浏览公开网站,发现和索引新页面内容。
OpenindexSpider 遵守 robots.txt 协议,如果需要屏蔽 OpenindexSpider 爬虫写法如下:
User-agent: OpenindexSpider
Disallow: /
| # | IP 地址 | Hostname | 国家代码 | 旗帜 |
|---|---|---|---|---|
| 1 | 89.200.205.54 | NL |
|
|
| 2 | 89.188.14.4 | NL |
|
|
| 3 | 89.200.205.35 | NL |
|
|
| 4 | 89.188.14.2 | NL |
|
|
| 5 | 89.188.14.5 | NL |
|
|
| 6 | 89.200.205.47 | NL |
|
|
| 7 | 89.200.205.34 | NL |
|
|
| 8 | 89.200.205.39 | NL |
|
|
| 9 | 89.188.14.3 | NL |
|
|
| 10 | 89.200.205.41 | NL |
|