爬虫识别

爬虫识别支持 IPv6 地址访问 了解详情

AmazonAdBot

爬虫识别 - 资源 > 营销 > AmazonAdBot
AmazonAdBotAmazonAdBot 概况

亚马逊公司

AmazonAdBot

AmazonAdBot status 活动

AmazonAdBot 说明

Amazon AdBot 是亚马逊不同广告服务部门使用的爬虫,用于确定网站的内容,以便提供相关和适当的广告。Amazon AdBot 只抓取亚马逊或广告商合作伙伴可能提供广告的网站。

AmazonAdBot/1.0
爬虫类别
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
遵守
说明:

Amazon AdBot 是亚马逊不同广告服务用来确定网站内容以提供相关和适当广告的爬虫。

遵守 robots.txt 协议,具体写法如下:

User-agent: AmazonAdBot
Disallow: /

同时也可以设置抓取延迟:

User-agent: AmazonAdBot
Crawl-Delay: 2

Crawl-Delay 设置为 2,表示两个抓取之间有 2 秒的延迟。

IP 地址总数
5
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 3.216.51.216 crawler-3-216-51-216.amazonadbot.com US US flag
2 54.166.7.90 crawler-54-166-7-90.amazonadbot.com US US flag
3 52.70.140.52 crawler-52-70-140-52.amazonadbot.com US US flag
4 18.210.110.133 crawler-18-210-110-133.amazonadbot.com US US flag
5 54.163.37.67 crawler-54-163-37-67.amazonadbot.com US US flag
Amazonbot/0.1
爬虫类别
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
遵守
说明:

Amazonbot 是亚马逊的网络爬虫,用于改善亚马逊的服务,例如使 Alexa 能够回答更多客户的问题。Amazonbot 遵循标准的 robots.txt 规则。

如何识别 Amazonbot?

在用户代理字符串中,您会看到“Amazonbot”以及其他附加代理信息。一个示例看起来像这样:

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML\, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)
您如何控制Amazonbot在您的网站上爬取什么?

Robots.txt:Amazonbot 尊重 robots.txt 中的 user-agent 和 Disallow 指令。在下面的示例中,Amazonbot 不会爬取位于 /do-not-crawl/ 或 /not-allowed 下的文档:

User-agent: Amazonbot               # Amazon's user agent
Disallow: /do-not-crawl/            # disallow this directory

User-agent: *                # any robot
Disallow: /not-allowed/      # disallow this directory

AmazonBot 不支持 robots.txt 中的 crawl-delay 指令,也不支持 HTML 页面上的 robots 元标记,如:

<a href="signin.php" rel=nofollow>Sign in </a>
...
IP 地址总数
3
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 23.22.35.162 23-22-35-162.crawl.amazonbot.amazon US US flag
2 3.224.220.101 3-224-220-101.crawl.amazonbot.amazon US US flag
3 52.70.240.171 52-70-240-171.crawl.amazonbot.amazon US US flag
返回顶部