Netcraft crawler 概况
活动
Netcraft Web Server Survey
爬虫类别
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
不明
说明：
该爬虫为 Netcraft 的 “Web Server Survey” 服务工作 — 用于收集全球范围内网站 / 服务器 / 托管基础设施 (hosting infrastructure) 的数据，包括 Web 服务器软件 (web-server software)、SSL/TLS 配置、托管商 (hosting provider)、域名/子域、响应头 (headers)、可访问性 (uptime)、TLS/SSL 状况等基础设施 / 配置层面的数据。
IP 地址总数
10
爬虫 IP 地址列表
| # | IP 地址 | Hostname | 国家代码 | 旗帜 |
|---|---|---|---|---|
| 1 | 54.155.252.229 | ec2-54-155-252-229.eu-west-1.compute.amazonaws.com | IE |
|
| 2 | 54.78.122.228 | ec2-54-78-122-228.eu-west-1.compute.amazonaws.com | IE |
|
| 3 | 18.201.90.47 | ec2-18-201-90-47.eu-west-1.compute.amazonaws.com | IE |
|
| 4 | 34.249.32.130 | ec2-34-249-32-130.eu-west-1.compute.amazonaws.com | IE |
|
| 5 | 63.35.196.125 | ec2-63-35-196-125.eu-west-1.compute.amazonaws.com | IE |
|
| 6 | 63.34.170.179 | ec2-63-34-170-179.eu-west-1.compute.amazonaws.com | IE |
|
| 7 | 108.130.166.25 | ec2-108-130-166-25.eu-west-1.compute.amazonaws.com | IE |
|
| 8 | 54.195.230.75 | ec2-54-195-230-75.eu-west-1.compute.amazonaws.com | IE |
|
| 9 | 34.245.196.156 | ec2-34-245-196-156.eu-west-1.compute.amazonaws.com | IE |
|
| 10 | 3.254.155.98 | ec2-3-254-155-98.eu-west-1.compute.amazonaws.com | IE |
|
Netcraft SSL Server Survey
爬虫类别
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
不明
说明：
“Netcraft SSL Server Survey” 是 Netcraft Ltd. 用于监测/调查互联网上公开 HTTPS / SSL / TLS 服务 /证书 /服务器安全状况的一个“扫描 / 调研 (survey / crawler)”项目。
IP 地址总数
10
爬虫 IP 地址列表
| # | IP 地址 | Hostname | 国家代码 | 旗帜 |
|---|---|---|---|---|
| 1 | 104.131.184.187 | US |
|
|
| 2 | 104.236.21.24 | US |
|
|
| 3 | 104.131.21.129 | US |
|
|
| 4 | 104.236.69.17 | US |
|
|
| 5 | 104.236.103.226 | US |
|
|
| 6 | 104.236.127.182 | US |
|
|
| 7 | 104.236.103.133 | US |
|
|
| 8 | 104.236.124.35 | US |
|
|
| 9 | 159.203.97.77 | US |
|
|
| 10 | 159.203.98.236 | US |
|
NetcraftSurveyAgent/1.0
爬虫类别
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
不明
说明：
NetcraftSurveyAgent 是 Netcraft 官方爬虫之一，用来做网络基础设施 / HTTPS /SSL /服务器 /托管环境 /安全配置的数据采集与 survey。
IP 地址总数
705
爬虫 IP 地址列表
| # | IP 地址 | Hostname | 国家代码 | 旗帜 |
|---|---|---|---|---|
| 1 | 54.170.103.226 | ec2-54-170-103-226.eu-west-1.compute.amazonaws.com | IE |
|
| 2 | 52.50.22.111 | ec2-52-50-22-111.eu-west-1.compute.amazonaws.com | IE |
|
| 3 | 18.201.198.20 | ec2-18-201-198-20.eu-west-1.compute.amazonaws.com | IE |
|
| 4 | 54.155.217.35 | ec2-54-155-217-35.eu-west-1.compute.amazonaws.com | IE |
|
| 5 | 34.245.50.55 | ec2-34-245-50-55.eu-west-1.compute.amazonaws.com | IE |
|
| 6 | 3.249.196.153 | ec2-3-249-196-153.eu-west-1.compute.amazonaws.com | IE |
|
| 7 | 54.216.18.50 | ec2-54-216-18-50.eu-west-1.compute.amazonaws.com | IE |
|
| 8 | 54.195.38.120 | ec2-54-195-38-120.eu-west-1.compute.amazonaws.com | IE |
|
| 9 | 3.253.13.248 | ec2-3-253-13-248.eu-west-1.compute.amazonaws.com | IE |
|
| 10 | 3.255.79.45 | ec2-3-255-79-45.eu-west-1.compute.amazonaws.com | IE |
|
注：最多只显示10个 IP 地址
