是否应该让 GPTBot/1.2 抓取网站 了解详情
DomainStatsBot 是 Domain Stats 的爬虫程序,用户抓取页面用作 SEO 分析,统计反向链接等。
DomainStatsBot/1.0 遵守 robots.txt 协议。
如果需要屏蔽 DomainStatsBot/1.0,可以使用如下写法:
User-agent: DomainStatsBot
Disallow: /
| # | IP 地址 | Hostname | 国家代码 | 旗帜 |
|---|---|---|---|---|
| 1 | 148.251.121.91 | bot.domainstats.com | DE |
|
| 2 | 136.243.59.237 | bot.domainstats.com | DE |
|
| 3 | 136.243.222.140 | bot.domainstats.com | DE |
|
| 4 | 136.243.17.142 | bot.domainstats.com | DE |
|