爬虫识别

是否应该让 GPTBot/1.2 抓取网站 了解详情

YouBotYouBot 概况

SuSea, Inc.

YouBot

YouBot status 活动

YouBot 说明

YouBot 是为 You.com 搜索引擎提供支持的网络爬虫。它会自动发现并索引网页,为 You.com 用户提供实时、准确的搜索结果。

YouBot/1.0
爬虫类别
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
遵守
说明:

YouBot 的设计宗旨是高效且尊重地抓取网页,遵循行业标准和最佳实践。它尊重 robots.txt 指令和抓取频率偏好,以确保在保持全面网页覆盖的同时,将对 Web 服务器的影响降至最低。

如果您禁止 YouBot 抓取您的网站,写法如下:

# Block YouBot from entire site
User-agent: YouBot
Disallow: /

禁止部分目录抓取:

# Block YouBot from specific directories
User-agent: YouBot
Disallow: /private/
Disallow: /admin/

抓取速率限制:

# Allow YouBot with crawl delay
User-agent: YouBot
Crawl-delay: 10
IP 地址总数
11
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 68.67.112.39 youbot-68-67-112-39.search.you.com US US flag
2 44.201.175.173 ec2-44-201-175-173.compute-1.amazonaws.com US US flag
3 44.203.221.161 ec2-44-203-221-161.compute-1.amazonaws.com US US flag
4 44.210.137.134 ec2-44-210-137-134.compute-1.amazonaws.com US US flag
5 54.172.133.253 ec2-54-172-133-253.compute-1.amazonaws.com US US flag
6 98.93.124.13 ec2-98-93-124-13.compute-1.amazonaws.com US US flag
7 54.86.169.86 ec2-54-86-169-86.compute-1.amazonaws.com US US flag
8 44.204.3.179 ec2-44-204-3-179.compute-1.amazonaws.com US US flag
9 44.200.252.68 ec2-44-200-252-68.compute-1.amazonaws.com US US flag
10 44.211.51.1 ec2-44-211-51-1.compute-1.amazonaws.com US US flag
注:最多只显示10个 IP 地址
YouBot
爬虫类别
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
遵守
说明:

YouBotyou.com 的爬虫程序。

IP 地址总数
5
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 52.226.220.150 US US flag
2 20.241.187.234 US US flag
3 20.232.226.31 US US flag
4 52.226.199.170 US US flag
5 44.218.102.77 ec2-44-218-102-77.compute-1.amazonaws.com US US flag
返回顶部