是否应该让 GPTBot/1.2 抓取网站 了解详情
AdkernelTopicCrawler 是由白标广告技术解决方案提供商 Adkernel 运营的网络爬虫。该机器人收集信息,以支持公司的广告网络、DSP、SSP 和交易平台。
Adkernel 与出版商合作,通过对出版商的广告资源进行分类,使其能够根据上下文进行竞价,从而提高出版商的盈利能力,满足在网络上寻找高质量内容的广告商的需求。
AdkernelTopicCrawler/1.0 遵守 robots.txt 协议,如果需要屏蔽 AdkernelTopicCrawler/1.0 爬虫,写法如下:
User-agent: AdkernelTopicCrawler
Disallow: /
| # | IP 地址 | Hostname | 国家代码 | 旗帜 |
|---|---|---|---|---|
| 1 | 173.239.53.95 | topic.crawler.adkernel.com | US |
|