SE Ranking bot 概况
活动 SERankingBacklinksBot/1.0
User-Agent
爬虫类别
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
遵守
说明：
SERankingBacklinksBot 的抓取行为
以下是可定义其抓取过程的主要特性：
-
SERankingBacklinksBot 是非常友好的站点爬虫。默认情况下，如果 robots.txt 中未设置抓取延迟，或者 robots.txt 文件不存在（例如返回非 200 状态码），默认抓取延迟为 3 秒。
-
SERankingBacklinksBot 始终遵守您在 robots.txt 文件中指定的规则。
-
SERankingBacklinksBot 仅收集公开可访问的信息，即任何普通访客都能访问的内容。如果您认为爬虫收集了某些敏感信息，请将该内容从公共访问中移除。
-
SERankingBacklinksBot 不会读取、解析、收集或存储除页面链接信息之外的任何内容。这包括页面上的任何文本、图像、视频素材或其他内容。
SERankingBacklinksBot 遵守 robots.txt 协议：
-
设置抓取速度：
User-agent: SERankingBacklinksBot Crawl-delay: 10 -
禁止抓取部分目录：
User-agent: SERankingBacklinksBot Disallow: /private/ Disallow: /messages/ -
禁止抓取整个网站：
User-agent: SERankingBacklinksBot Disallow: /
IP 地址总数
107
爬虫 IP 地址列表
| # | IP 地址 | Hostname | 国家代码 | 旗帜 |
|---|---|---|---|---|
| 1 | 37.27.51.142 | discovery-crawler35.blex.seranking.com | DE |
|
| 2 | 144.76.32.114 | discovery-crawler23.blex.seranking.com | DE |
|
| 3 | 144.76.32.120 | discovery-crawler16.blex.seranking.com | DE |
|
| 4 | 2a01:4f9:4b:50a0::2 | discovery-crawler29.blex.seranking.com | DE |
|
| 5 | 2a01:4f9:4a:3020::2 | discovery-crawler30.blex.seranking.com | DE |
|
| 6 | 2a01:4f9:4a:301f::2 | discovery-crawler25.blex.seranking.com | DE |
|
| 7 | 2a01:4f9:3a:1da6::2 | discovery-crawler27.blex.seranking.com | DE |
|
| 8 | 2a01:4f9:3081:4214::2 | discovery-crawler31.blex.seranking.com | DE |
|
| 9 | 2a01:4f9:3081:3df0::2 | discovery-crawler26.blex.seranking.com | DE |
|
| 10 | 2a01:4f9:3081:3a2c::2 | discovery-crawler34.blex.seranking.com | DE |
|
注：最多只显示10个 IP 地址
