爬虫识别

是否应该让 GPTBot/1.2 抓取网站 了解详情

SEOJuice bot

爬虫识别 - 资源 > 未分类 > SEOJuice bot
SEOJuice botSEOJuice bot 概况

Calm North Labs UAB

SEOJuice bot

SEOJuice bot status 活动

SEOJuice bot 说明

SEOJuice-SearchBot 是由 SEOJuice 运营的网络爬虫。该爬虫会访问公共网页,以构建网页之间的链接关系图,即识别哪些页面引用了哪些页面,从而为 SEOJuice 的客户提供市场情报洞察。SEOJuice-SearchBot 遵循规范的爬取行为,并具有清晰、可识别的身份标识。该爬虫不会用于收集个人数据,也不会用于任何恶意活动。

SEOJuiceAICrawlerInspector/1.0
爬虫类别
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
遵守
说明:

SEOJuice 官方提供一个名为 AI Search Crawler Inspector 的免费工具。用户输入一个 URL 后,该工具会主动请求目标网页,并分析 AI 搜索爬虫可能看到的内容,包括 Meta 信息、标题结构、正文语义内容、robots.txt、HTTP Header 以及潜在的 AI 索引问题。

IP 地址总数
1
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 195.201.58.208 static.208.58.201.195.clients.your-server.de DE DE flag
SEOJuice-SearchBot
User-Agent
爬虫类别
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
遵守
说明:

SEOJuice-SearchBot 是由 Calm North Labs UAB 旗下 SEOJuice 运营的网络爬虫,主要用于抓取公开网页、分析页面之间的链接关系,并为 SEOJuice 的 SEO、竞争分析和市场情报功能构建相关数据。SEOJuice 本身提供网站拓扑、内部链接图、反向链接及竞争分析等功能。

IP 地址总数
1
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 208.214.160.180 US US flag
SEOJuice-SearchBot/1.0
爬虫类别
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
遵守
说明:

SEOJuice-SearchBot 是由 Calm North Labs UAB 旗下 SEOJuice 运营的 SEO 网络爬虫,用于访问公开网页、分析网页及域名之间的链接关系,并为 SEOJuice 的链接分析、竞争研究和市场情报功能提供数据。

SEOJuice-SearchBot/1.0 遵守 robots.txt 协议:

禁止 SEOJuice-SearchBot 抓取任何目录:

User-agent: SEOJuice-SearchBot
Disallow: /

禁止抓取指定目录:

User-agent: SEOJuice-SearchBot
Disallow: /private/
Disallow: /checkout/
IP 地址总数
9
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 74.0.96.8 US US flag
2 151.247.120.38 IR IR flag
3 151.247.123.123 IR IR flag
4 151.247.126.251 IR IR flag
5 2a01:e11:8010:9bb0:8493:38a0:ca48:5cc9 IT IT flag
6 2a01:e11:8010:9bb0:1461:7f35:d4f3:ff2 IT IT flag
7 209.101.200.69 209-101-200-69.dataside.com US US flag
8 79.99.75.162 GB GB flag
9 95.164.151.54 UA UA flag
返回顶部