爬虫识别

是否应该让 GPTBot/1.2 抓取网站 了解详情

CCBotCCBot 概况

None

CCBot

CCBot status 活动

CCBot 说明

CCBot 是一个基于 Nutch 的网络爬虫,它利用了 Apache Hadoop 项目。CCBot 使用 Map-Reduce 从爬网数据库中处理和提取目标候选者。该候选列表按主机(域名)排序,然后分发到一组蜘蛛(bot)服务器。

CCBot/2.0
爬虫类别
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
遵守
说明:

CCBot 是一个基于 Nutch 的网络爬虫,将抓取的数据致力于免费向互联网研究人员、公司和个人提供互联网副本,以进行研究和分析。

当前的 User-Agent 为:CCBot/2.0 (http://commoncrawl.org/faq/)

IP 地址总数
128
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 54.80.224.93 ec2-54-80-224-93.compute-1.amazonaws.com US US flag
2 54.198.241.211 ec2-54-198-241-211.compute-1.amazonaws.com US US flag
3 23.20.161.125 ec2-23-20-161-125.compute-1.amazonaws.com US US flag
4 54.80.217.80 ec2-54-80-217-80.compute-1.amazonaws.com US US flag
5 54.159.30.26 ec2-54-159-30-26.compute-1.amazonaws.com US US flag
6 54.167.29.208 ec2-54-167-29-208.compute-1.amazonaws.com US US flag
7 54.90.227.221 ec2-54-90-227-221.compute-1.amazonaws.com US US flag
8 54.234.90.191 ec2-54-234-90-191.compute-1.amazonaws.com US US flag
9 54.234.190.237 ec2-54-234-190-237.compute-1.amazonaws.com US US flag
10 54.90.217.44 ec2-54-90-217-44.compute-1.amazonaws.com US US flag
注:最多只显示10个 IP 地址
CCBot/2.0
爬虫类别
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
遵守
说明:

CCBot 是一个基于 Nutch 的网络爬虫,将抓取的数据致力于免费向互联网研究人员、公司和个人提供互联网副本,以进行研究和分析。

当前的 User-Agent 为:CCBot/2.0 (https://commoncrawl.org/faq/)

IP 地址总数
400
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 18.97.9.170 18-97-9-170.crawl.commoncrawl.org US US flag
2 2600:1f28:365:80b0:8c28:aaa5:eea:8388 US US flag
3 2600:1f28:365:80b0:60b0:dfa5:fbc9:9f8f US US flag
4 18.97.14.83 18-97-14-83.crawl.commoncrawl.org US US flag
5 2600:1f28:365:80b0:6da3:f3b7:3cc7:cae0 US US flag
6 2600:1f28:365:80b0:d222:ca63:50d7:f9b2 US US flag
7 2600:1f28:365:80b0:d86f:56ab:dbcc:2fa US US flag
8 18.97.9.169 18-97-9-169.crawl.commoncrawl.org US US flag
9 2600:1f28:365:80b0:e903:95d9:89ef:8966 US US flag
10 2600:1f28:365:80b0:c560:7890:829a:5f06 US US flag
注:最多只显示10个 IP 地址
返回顶部