爬虫识别

是否应该让 GPTBot/1.2 抓取网站 了解详情

Audigent

AudigentAudigent 概况

Experian

Audigent

Audigent status 活动

Audigent 说明

Audigent 专注于通过收集网页元数据,提供定向的相关广告解决方案。该公司的技术使其能够投放符合用户兴趣的广告,从而提升整体浏览体验。通过抓取网站,Audigent 收集关键的元数据,帮助自身及其广告合作伙伴竞标广告空间,从而为发布商创造收入。

Audigent 仅抓取可能投放广告的网站,确保数据收集具有明确目的,并且仅限于广告相关的环境。

AudigentAdBot
爬虫类别
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
遵守
说明:

AudigentAdBot 爬虫被设计为仅收集 HTML 页面头部中包含的元数据,不会抓取页面正文的任何内容。这意味着 AudigentAdBot 是一个轻量级的、专注于收集广告所需信息的工具。

AudigentAdBot 遵守 robots.txt 协议,如果您要屏蔽 AudigentAdBot 爬虫写法如下:

User-agent: AudigentAdBot
Disallow: /

然而,使用通用的通配符规则,如下所示:

User-agent: *
Disallow: /

将无法阻止 AudigentAdBot 的访问,必须明确提及该爬虫。

IP 地址总数
598
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 54.85.138.172 ec2-54-85-138-172.compute-1.amazonaws.com US US flag
2 52.91.56.69 ec2-52-91-56-69.compute-1.amazonaws.com US US flag
3 34.205.129.187 ec2-34-205-129-187.compute-1.amazonaws.com US US flag
4 54.198.163.35 ec2-54-198-163-35.compute-1.amazonaws.com US US flag
5 54.90.119.21 ec2-54-90-119-21.compute-1.amazonaws.com US US flag
6 54.224.253.80 ec2-54-224-253-80.compute-1.amazonaws.com US US flag
7 54.88.212.113 ec2-54-88-212-113.compute-1.amazonaws.com US US flag
8 3.91.31.227 ec2-3-91-31-227.compute-1.amazonaws.com US US flag
9 54.196.128.96 ec2-54-196-128-96.compute-1.amazonaws.com US US flag
10 3.80.130.24 ec2-3-80-130-24.compute-1.amazonaws.com US US flag
注:最多只显示10个 IP 地址
返回顶部