是否应该让 GPTBot/1.2 抓取网站 了解详情
Audigent 专注于通过收集网页元数据,提供定向的相关广告解决方案。该公司的技术使其能够投放符合用户兴趣的广告,从而提升整体浏览体验。通过抓取网站,Audigent 收集关键的元数据,帮助自身及其广告合作伙伴竞标广告空间,从而为发布商创造收入。
Audigent 仅抓取可能投放广告的网站,确保数据收集具有明确目的,并且仅限于广告相关的环境。
AudigentAdBot 爬虫被设计为仅收集 HTML 页面头部中包含的元数据,不会抓取页面正文的任何内容。这意味着 AudigentAdBot 是一个轻量级的、专注于收集广告所需信息的工具。
AudigentAdBot 遵守 robots.txt 协议,如果您要屏蔽 AudigentAdBot 爬虫写法如下:
User-agent: AudigentAdBot
Disallow: /
然而,使用通用的通配符规则,如下所示:
User-agent: *
Disallow: /
将无法阻止 AudigentAdBot 的访问,必须明确提及该爬虫。
| # | IP 地址 | Hostname | 国家代码 | 旗帜 |
|---|---|---|---|---|
| 1 | 54.85.138.172 | ec2-54-85-138-172.compute-1.amazonaws.com | US |
|
| 2 | 52.91.56.69 | ec2-52-91-56-69.compute-1.amazonaws.com | US |
|
| 3 | 34.205.129.187 | ec2-34-205-129-187.compute-1.amazonaws.com | US |
|
| 4 | 54.198.163.35 | ec2-54-198-163-35.compute-1.amazonaws.com | US |
|
| 5 | 54.90.119.21 | ec2-54-90-119-21.compute-1.amazonaws.com | US |
|
| 6 | 54.224.253.80 | ec2-54-224-253-80.compute-1.amazonaws.com | US |
|
| 7 | 54.88.212.113 | ec2-54-88-212-113.compute-1.amazonaws.com | US |
|
| 8 | 3.91.31.227 | ec2-3-91-31-227.compute-1.amazonaws.com | US |
|
| 9 | 54.196.128.96 | ec2-54-196-128-96.compute-1.amazonaws.com | US |
|
| 10 | 3.80.130.24 | ec2-3-80-130-24.compute-1.amazonaws.com | US |
|