是否应该让 GPTBot/1.2 抓取网站 了解详情
SEOJuice-SearchBot 是由 SEOJuice 运营的网络爬虫。该爬虫会访问公共网页,以构建网页之间的链接关系图,即识别哪些页面引用了哪些页面,从而为 SEOJuice 的客户提供市场情报洞察。SEOJuice-SearchBot 遵循规范的爬取行为,并具有清晰、可识别的身份标识。该爬虫不会用于收集个人数据,也不会用于任何恶意活动。
SEOJuice 官方提供一个名为 AI Search Crawler Inspector 的免费工具。用户输入一个 URL 后,该工具会主动请求目标网页,并分析 AI 搜索爬虫可能看到的内容,包括 Meta 信息、标题结构、正文语义内容、robots.txt、HTTP Header 以及潜在的 AI 索引问题。
| # | IP 地址 | Hostname | 国家代码 | 旗帜 |
|---|---|---|---|---|
| 1 | 195.201.58.208 | static.208.58.201.195.clients.your-server.de | DE |
|
SEOJuice-SearchBot 是由 Calm North Labs UAB 旗下 SEOJuice 运营的网络爬虫,主要用于抓取公开网页、分析页面之间的链接关系,并为 SEOJuice 的 SEO、竞争分析和市场情报功能构建相关数据。SEOJuice 本身提供网站拓扑、内部链接图、反向链接及竞争分析等功能。
| # | IP 地址 | Hostname | 国家代码 | 旗帜 |
|---|---|---|---|---|
| 1 | 208.214.160.180 | US |
|
SEOJuice-SearchBot 是由 Calm North Labs UAB 旗下 SEOJuice 运营的 SEO 网络爬虫,用于访问公开网页、分析网页及域名之间的链接关系,并为 SEOJuice 的链接分析、竞争研究和市场情报功能提供数据。
SEOJuice-SearchBot/1.0 遵守 robots.txt 协议:
禁止 SEOJuice-SearchBot 抓取任何目录:
User-agent: SEOJuice-SearchBot
Disallow: /
禁止抓取指定目录:
User-agent: SEOJuice-SearchBot
Disallow: /private/
Disallow: /checkout/
| # | IP 地址 | Hostname | 国家代码 | 旗帜 |
|---|---|---|---|---|
| 1 | 74.0.96.8 | US |
|
|
| 2 | 151.247.120.38 | IR |
|
|
| 3 | 151.247.123.123 | IR |
|
|
| 4 | 151.247.126.251 | IR |
|
|
| 5 | 2a01:e11:8010:9bb0:8493:38a0:ca48:5cc9 | IT |
|
|
| 6 | 2a01:e11:8010:9bb0:1461:7f35:d4f3:ff2 | IT |
|
|
| 7 | 209.101.200.69 | 209-101-200-69.dataside.com | US |
|
| 8 | 79.99.75.162 | GB |
|
|
| 9 | 95.164.151.54 | UA |
|