爬虫识别

爬虫识别支持 IPv6 地址访问 了解详情

ClaudeBot

ClaudeBotClaudeBot 概况

Anthropic PBC

ClaudeBot

ClaudeBot status 活动

ClaudeBot 说明

ClaudeBot 是由 Anthropic 运营的网络爬虫,用于下载其 LLM(大型语言模型)的训练数据,为 Claude 等 AI 产品提供支持。

根据行业标准,Anthropic 使用各种数据源进行模型开发,例如通过网络爬虫收集的来自互联网的公开数据。作为 Anthropic 构建安全可靠的前沿系统和推动负责任的人工智能开发领域的使命的一部分。

ClaudeBot 搜集收集数据的原则:

  • Anthropic 的数据收集应该是透明的。用户代理令牌 ClaudeBot 标识了 Anthropic 的通用网络爬虫。

  • Anthropic 的抓取不应具有 侵扰性破坏性 。Anthropic 的目标是通过深思熟虑地考虑抓取相同域的速度并在适当的情况下尊重抓取延迟来将干扰降到最低。

ClaudeBot
User-Agent
爬虫类别
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
遵守
说明:

根据行业标准,Anthropic 使用各种数据源进行模型开发,例如通过网络爬虫收集的来自互联网的公开数据。作为我们构建安全可靠的前沿系统和推动负责任的人工智能开发领域的使命的一部分。

ClaudeBot 遵守 robots.txt 协议,如果需要屏蔽整个网站禁止 ClaudeBot 抓取写法如下:

User-agent: ClaudeBot
Disallow: /

如果需要延缓 ClaudeBot 抓取速度,写法如下:

    User-agent: ClaudeBot

    Crawl-delay: 1
IP 地址总数
324
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 3.238.96.44 ec2-3-238-96-44.compute-1.amazonaws.com US US flag
2 3.208.87.93 ec2-3-208-87-93.compute-1.amazonaws.com US US flag
3 3.236.108.253 ec2-3-236-108-253.compute-1.amazonaws.com US US flag
4 34.207.78.138 ec2-34-207-78-138.compute-1.amazonaws.com US US flag
5 18.232.50.58 ec2-18-232-50-58.compute-1.amazonaws.com US US flag
6 3.235.235.45 ec2-3-235-235-45.compute-1.amazonaws.com US US flag
7 44.192.10.200 ec2-44-192-10-200.compute-1.amazonaws.com US US flag
8 3.88.30.42 ec2-3-88-30-42.compute-1.amazonaws.com US US flag
9 3.235.251.150 ec2-3-235-251-150.compute-1.amazonaws.com US US flag
10 44.211.131.205 ec2-44-211-131-205.compute-1.amazonaws.com US US flag
注:最多只显示10个 IP 地址
claudebot
User-Agent
爬虫类别
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
不明
说明:

未找到任何关于 claudebot 爬虫的信息。

IP 地址总数
1729
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 3.137.176.67 ec2-3-137-176-67.us-east-2.compute.amazonaws.com US US flag
2 3.145.53.16 ec2-3-145-53-16.us-east-2.compute.amazonaws.com US US flag
3 3.144.45.101 ec2-3-144-45-101.us-east-2.compute.amazonaws.com US US flag
4 3.147.195.193 ec2-3-147-195-193.us-east-2.compute.amazonaws.com US US flag
5 3.129.92.231 ec2-3-129-92-231.us-east-2.compute.amazonaws.com US US flag
6 3.145.100.135 ec2-3-145-100-135.us-east-2.compute.amazonaws.com US US flag
7 3.22.51.241 ec2-3-22-51-241.us-east-2.compute.amazonaws.com US US flag
8 18.119.172.8 ec2-18-119-172-8.us-east-2.compute.amazonaws.com US US flag
9 18.119.114.15 ec2-18-119-114-15.us-east-2.compute.amazonaws.com US US flag
10 18.227.48.4 ec2-18-227-48-4.us-east-2.compute.amazonaws.com US US flag
注:最多只显示10个 IP 地址
ClaudeBot/1.0
爬虫类别
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
遵守
说明:

ClaudeBot/1.0 是由美国人工智能公司 Anthropic 开发的网页爬虫,该爬虫的主要目的是抓取网页内容,以用于训练和优化 Anthropic 的大型语言模型(LLMs),例如其 AI 助手 Claude。

ClaudeBot/1.0 遵守 robots.txt 协议,如果要阻止 ClaudeBot/1.0 抓取写法如下:

User-agent: ClaudeBot
Disallow: /
IP 地址总数
10224
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 3.149.29.120 ec2-3-149-29-120.us-east-2.compute.amazonaws.com US US flag
2 3.19.239.158 ec2-3-19-239-158.us-east-2.compute.amazonaws.com US US flag
3 18.191.229.157 ec2-18-191-229-157.us-east-2.compute.amazonaws.com US US flag
4 3.135.190.188 ec2-3-135-190-188.us-east-2.compute.amazonaws.com US US flag
5 18.221.21.111 ec2-18-221-21-111.us-east-2.compute.amazonaws.com US US flag
6 52.14.75.150 ec2-52-14-75-150.us-east-2.compute.amazonaws.com US US flag
7 18.222.112.64 ec2-18-222-112-64.us-east-2.compute.amazonaws.com US US flag
8 3.147.67.245 ec2-3-147-67-245.us-east-2.compute.amazonaws.com US US flag
9 18.117.187.237 ec2-18-117-187-237.us-east-2.compute.amazonaws.com US US flag
10 18.222.94.214 ec2-18-222-94-214.us-east-2.compute.amazonaws.com US US flag
注:最多只显示10个 IP 地址
ClaudeBot/1.0
爬虫类别
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
遵守
说明:

根据行业标准,Anthropic 使用各种数据源进行模型开发,例如通过网络爬虫收集的来自互联网的公开数据。作为我们构建安全可靠的前沿系统和推动负责任的人工智能开发领域的使命的一部分。

ClaudeBot 遵守 robots.txt 协议,如果需要屏蔽整个网站禁止 ClaudeBot 抓取写法如下:

User-agent: ClaudeBot
Disallow: /

如果需要延缓 ClaudeBot 抓取速度,写法如下:

User-agent: ClaudeBot

Crawl-delay: 1
IP 地址总数
11
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 3.138.125.2 ec2-3-138-125-2.us-east-2.compute.amazonaws.com US US flag
2 18.116.40.177 ec2-18-116-40-177.us-east-2.compute.amazonaws.com US US flag
3 18.221.187.121 ec2-18-221-187-121.us-east-2.compute.amazonaws.com US US flag
4 3.141.47.221 ec2-3-141-47-221.us-east-2.compute.amazonaws.com US US flag
5 18.190.156.212 ec2-18-190-156-212.us-east-2.compute.amazonaws.com US US flag
6 3.15.202.4 ec2-3-15-202-4.us-east-2.compute.amazonaws.com US US flag
7 3.12.41.106 ec2-3-12-41-106.us-east-2.compute.amazonaws.com US US flag
8 3.133.160.156 ec2-3-133-160-156.us-east-2.compute.amazonaws.com US US flag
9 18.118.200.197 ec2-18-118-200-197.us-east-2.compute.amazonaws.com US US flag
10 3.133.147.252 ec2-3-133-147-252.us-east-2.compute.amazonaws.com US US flag
注:最多只显示10个 IP 地址
返回顶部