是否应该让 GPTBot/1.2 抓取网站 了解详情
YouBot 是为 You.com 搜索引擎提供支持的网络爬虫。它会自动发现并索引网页,为 You.com 用户提供实时、准确的搜索结果。
YouBot 的设计宗旨是高效且尊重地抓取网页,遵循行业标准和最佳实践。它尊重 robots.txt 指令和抓取频率偏好,以确保在保持全面网页覆盖的同时,将对 Web 服务器的影响降至最低。
如果您禁止 YouBot 抓取您的网站,写法如下:
# Block YouBot from entire site
User-agent: YouBot
Disallow: /
禁止部分目录抓取:
# Block YouBot from specific directories
User-agent: YouBot
Disallow: /private/
Disallow: /admin/
抓取速率限制:
# Allow YouBot with crawl delay
User-agent: YouBot
Crawl-delay: 10
| # | IP 地址 | Hostname | 国家代码 | 旗帜 |
|---|---|---|---|---|
| 1 | 68.67.112.39 | youbot-68-67-112-39.search.you.com | US |
|
| 2 | 44.201.175.173 | ec2-44-201-175-173.compute-1.amazonaws.com | US |
|
| 3 | 44.203.221.161 | ec2-44-203-221-161.compute-1.amazonaws.com | US |
|
| 4 | 44.210.137.134 | ec2-44-210-137-134.compute-1.amazonaws.com | US |
|
| 5 | 54.172.133.253 | ec2-54-172-133-253.compute-1.amazonaws.com | US |
|
| 6 | 98.93.124.13 | ec2-98-93-124-13.compute-1.amazonaws.com | US |
|
| 7 | 54.86.169.86 | ec2-54-86-169-86.compute-1.amazonaws.com | US |
|
| 8 | 44.204.3.179 | ec2-44-204-3-179.compute-1.amazonaws.com | US |
|
| 9 | 44.200.252.68 | ec2-44-200-252-68.compute-1.amazonaws.com | US |
|
| 10 | 44.211.51.1 | ec2-44-211-51-1.compute-1.amazonaws.com | US |
|
YouBot 是 you.com 的爬虫程序。
| # | IP 地址 | Hostname | 国家代码 | 旗帜 |
|---|---|---|---|---|
| 1 | 52.226.220.150 | US |
|
|
| 2 | 20.241.187.234 | US |
|
|
| 3 | 20.232.226.31 | US |
|
|
| 4 | 52.226.199.170 | US |
|
|
| 5 | 44.218.102.77 | ec2-44-218-102-77.compute-1.amazonaws.com | US |
|