爬虫识别

user-agent是什么 了解详情

rogerbot

rogerbotrogerbot 概况

SEOmoz, Inc.

rogerbot

rogerbot status 活动

rogerbot 说明

Rogerbot 是用于 Moz Pro Campaign 站点审核的 Moz 爬虫。它与Dotbot不同,Dotbot是我们的网络爬虫,为我们的链接索引提供动力。Rogerbot 访问您网站的代码,将报告发送回您的 Moz Pro 营销活动。这有助于您了解您的网站并教您如何解决可能影响您的排名的问题。Rogerbot 为您的站点抓取报告、按需抓取、页面优化报告和页面分级器提供数据。

rogerbot/1.0
爬虫类别
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
遵守
IP 地址总数
2
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 50.19.146.208 ec2-50-19-146-208.compute-1.amazonaws.com US US flag
2 23.22.206.6 ec2-23-22-206-6.compute-1.amazonaws.com US US flag
rogerbot/1.0
爬虫类别
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
遵守
IP 地址总数
3
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 184.73.51.161 ec2-184-73-51-161.compute-1.amazonaws.com US US flag
2 174.129.163.246 ec2-174-129-163-246.compute-1.amazonaws.com US US flag
3 54.242.216.138 ec2-54-242-216-138.compute-1.amazonaws.com US US flag
rogerbot/1.0
爬虫类别
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
遵守
IP 地址总数
11
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 216.244.72.12 US US flag
2 54.236.143.68 ec2-54-236-143-68.compute-1.amazonaws.com US US flag
3 54.209.255.52 ec2-54-209-255-52.compute-1.amazonaws.com US US flag
4 54.167.193.115 ec2-54-167-193-115.compute-1.amazonaws.com US US flag
5 54.84.17.125 ec2-54-84-17-125.compute-1.amazonaws.com US US flag
6 52.207.205.34 ec2-52-207-205-34.compute-1.amazonaws.com US US flag
7 52.91.61.125 ec2-52-91-61-125.compute-1.amazonaws.com US US flag
8 52.90.135.72 ec2-52-90-135-72.compute-1.amazonaws.com US US flag
9 52.3.226.221 ec2-52-3-226-221.compute-1.amazonaws.com US US flag
10 34.207.66.209 ec2-34-207-66-209.compute-1.amazonaws.com US US flag
注:最多只显示10个 IP 地址
rogerbot/1.0
爬虫类别
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
遵守
IP 地址总数
2
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 209.133.111.215 209.133.111.215.available.above.net US US flag
2 208.184.81.30 208.184.81.30.IPYX-077165-ZYO.above.net US US flag
rogerbot/1.0
爬虫类别
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
遵守
IP 地址总数
12
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 209.249.5.254 254.dhcp.office.sjc3.us.mfnx.net US US flag
2 209.249.5.253 253.dhcp.office.sjc3.us.mfnx.net US US flag
3 209.249.5.252 252.dhcp.office.sjc3.us.mfnx.net US US flag
4 209.249.5.251 251.dhcp.office.sjc3.us.mfnx.net US US flag
5 209.249.5.250 250.dhcp.office.sjc3.us.mfnx.net US US flag
6 209.249.5.249 249.dhcp.office.sjc3.us.mfnx.net US US flag
7 209.249.5.248 248.dhcp.office.sjc3.us.mfnx.net US US flag
8 209.249.5.247 247.dhcp.office.sjc3.us.mfnx.net US US flag
9 209.249.5.246 246.dhcp.office.sjc3.us.mfnx.net US US flag
10 209.249.5.245 245.dhcp.office.sjc3.us.mfnx.net US US flag
注:最多只显示10个 IP 地址
rogerbot/1.0
爬虫类别
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
遵守
IP 地址总数
1
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 209.133.111.211 209.133.111.211.available.above.net US US flag
rogerbot/1.1
爬虫类别
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
遵守
IP 地址总数
1
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 54.147.189.251 ec2-54-147-189-251.compute-1.amazonaws.com US US flag
rogerbot/1.1
爬虫类别
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
遵守
IP 地址总数
92
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 162.243.249.62 US US flag
2 107.23.211.113 ec2-107-23-211-113.compute-1.amazonaws.com US US flag
3 107.23.192.247 ec2-107-23-192-247.compute-1.amazonaws.com US US flag
4 54.236.39.169 ec2-54-236-39-169.compute-1.amazonaws.com US US flag
5 54.234.220.3 ec2-54-234-220-3.compute-1.amazonaws.com US US flag
6 54.212.215.251 ec2-54-212-215-251.us-west-2.compute.amazonaws.com US US flag
7 54.209.191.14 ec2-54-209-191-14.compute-1.amazonaws.com US US flag
8 54.208.113.124 ec2-54-208-113-124.compute-1.amazonaws.com US US flag
9 54.205.38.208 ec2-54-205-38-208.compute-1.amazonaws.com US US flag
10 54.196.66.56 ec2-54-196-66-56.compute-1.amazonaws.com US US flag
注:最多只显示10个 IP 地址
rogerbot/1.0
爬虫类别
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
遵守
IP 地址总数
1
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 23.22.148.199 ec2-23-22-148-199.compute-1.amazonaws.com US US flag
rogerbot
User-Agent
爬虫类别
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
遵守
IP 地址总数
6
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 88.99.36.150 DE DE flag
2 54.242.79.115 ec2-54-242-79-115.compute-1.amazonaws.com US US flag
3 54.161.37.219 ec2-54-161-37-219.compute-1.amazonaws.com US US flag
4 52.91.242.113 ec2-52-91-242-113.compute-1.amazonaws.com US US flag
5 52.91.9.35 ec2-52-91-9-35.compute-1.amazonaws.com US US flag
6 52.23.173.207 ec2-52-23-173-207.compute-1.amazonaws.com US US flag
rogerbot/1.2
爬虫类别
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
遵守
IP 地址总数
1
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 54.227.104.174 ec2-54-227-104-174.compute-1.amazonaws.com US US flag
rogerbot/1.0
爬虫类别
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
遵守
IP 地址总数
1
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 54.91.111.234 ec2-54-91-111-234.compute-1.amazonaws.com US US flag
rogerbot/1.1
爬虫类别
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
遵守
IP 地址总数
8
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 162.243.206.136 US US flag
2 162.243.206.65 US US flag
3 162.243.203.252 US US flag
4 162.243.203.224 US US flag
5 162.243.201.75 US US flag
6 162.243.200.235 US US flag
7 162.243.200.157 US US flag
8 162.243.199.229 US US flag
rogerbot/1.1
爬虫类别
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
遵守
IP 地址总数
2
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 76.101.32.252 c-76-101-32-252.hsd1.fl.comcast.net US US flag
2 52.34.55.53 ec2-52-34-55-53.us-west-2.compute.amazonaws.com US US flag
rogerbot/1.2
爬虫类别
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
遵守
IP 地址总数
4
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 18.217.138.127 ec2-18-217-138-127.us-east-2.compute.amazonaws.com US US flag
2 18.116.199.108 ec2-18-116-199-108.us-east-2.compute.amazonaws.com US US flag
3 18.116.112.40 ec2-18-116-112-40.us-east-2.compute.amazonaws.com US US flag
4 13.59.128.223 ec2-13-59-128-223.us-east-2.compute.amazonaws.com US US flag
返回顶部