爬虫识别

是否应该让 GPTBot/1.2 抓取网站 了解详情

OpenindexSpider

爬虫识别 - 资源 > 未分类 > OpenindexSpider
OpenindexSpiderOpenindexSpider 概况

Openindex B.V.

OpenindexSpider

OpenindexSpider status 活动

OpenindexSpider 说明

OpenindexSpider 是由 Openindex B.V. 运营的网络爬虫,用于自动抓取网页内容以支持其搜索与数据服务。它遵循通用网络蜘蛛行为准则,通过标识自身的 User-Agent 字符串来明确其身份。

OpenindexSpider
爬虫类别
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
遵守
说明:

作为 网络蜘蛛(Web Crawler) 定期浏览公开网站,发现和索引新页面内容。

OpenindexSpider 遵守 robots.txt 协议,如果需要屏蔽 OpenindexSpider 爬虫写法如下:

User-agent: OpenindexSpider
Disallow: /
IP 地址总数
14
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 89.200.205.54 NL NL flag
2 89.188.14.4 NL NL flag
3 89.200.205.35 NL NL flag
4 89.188.14.2 NL NL flag
5 89.188.14.5 NL NL flag
6 89.200.205.47 NL NL flag
7 89.200.205.34 NL NL flag
8 89.200.205.39 NL NL flag
9 89.188.14.3 NL NL flag
10 89.200.205.41 NL NL flag
注:最多只显示10个 IP 地址
返回顶部