是否应该让 GPTBot/1.2 抓取网站 了解详情
Forgeby 是 Zmart Com West AB 运行的 B2B 企业情报爬虫,用于采集企业公开联系信息、网站技术栈及云基础设施信号。
forgeby-domainfill/1.0 遵守 robots.txt 协议,具体写法如下:
User-agent: forgeby
Disallow: /
| # | IP 地址 | Hostname | 国家代码 | 旗帜 |
|---|---|---|---|---|
| 1 | 51.21.44.111 | ec2-51-21-44-111.eu-north-1.compute.amazonaws.com | DE |
|