工具爬虫 - list crawlers

搜索引擎营销屏幕快照监控信息流链接检查抓取工具工具爬虫速度测试漏洞、病毒检测未分类 AI 爬虫

工具爬虫爬虫列表

名称	所属公司	最后一次出现
monitorbacklinks.com bot	Enux Limited	2026-03-16 09:07:10
Internet Measurement	Sharashka, Inc. Sharashka, Inc. 是一家提供数字足迹监测、全网扫描、新鲜域名数据的公司，数据可通过 Google BigQuery、JSON、实时数据流的方式提供。	2026-03-16 09:03:06
REDbot	Mark Nottingham（个人） Mark Nottingham 是一位在 HTTP 等 Web 核心协议标准制定中具有重要影响力的互联网架构专家，长期在 Internet Engineering Task Force（IETF）主导相关标准，并现任 Cloudflare	2026-03-16 02:36:35
Google Read Aloud	谷歌有限公司 Google（中文译名：谷歌）是总部位于美国加州门洛帕克的跨国科技公司，为Alphabet Inc.的子公司，业务范围涵盖互联网广告、互联网搜索、云计算等领域，开发并提供大量基于互联网的产品与服务。	2026-03-15 07:30:42
ModernizeBot		2026-03-09 02:15:48
Seobility	seobility GmbH	2026-03-08 00:15:17
bitlybot	Bitly, Inc.	2026-02-28 03:44:27
SEODiffBot	SEODiff SEODiff 提供的是一种网站 SEO 和 AI 可见性分析服务。	2026-02-25 03:34:11
archive.org_bot	TextRazor Ltd.	2026-02-11 03:11:36
Prerender	Saas.group LLC	2026-02-06 03:55:09
Photon	Automattic Inc.	2026-02-03 12:46:26
censys.io crawler	Censys, Inc.	2025-12-26 16:23:55
ivre-masscan	Pierre Lalet	2025-11-24 06:59:02
Wappalyzer	Elbert Alias	2025-10-10 02:24:35
WhatCMS.org bot	WhatCMS.org	2025-07-06 10:53:14
BuiltWith crawler	BuiltWith Pty Ltd	2025-06-24 03:08:35
Google AMP crawler	谷歌有限公司 Google（中文译名：谷歌）是总部位于美国加州门洛帕克的跨国科技公司，为Alphabet Inc.的子公司，业务范围涵盖互联网广告、互联网搜索、云计算等领域，开发并提供大量基于互联网的产品与服务。	2025-03-27 07:09:22
Riddlerbot	F-Secure Corporation F-Secure Corporation 是一家全球网络安全和隐私公司，总部位于芬兰赫尔辛基。	2025-02-22 08:49:25
Mediumbot	Medium Corp.	2024-08-24 01:58:13
masscan	Errata Security - Robert David Graham	2024-05-10 02:31:06
Check-Host	Check-Host	2024-02-01 02:07:23
Google-InspectionTool	Google, Inc.	2023-05-30 00:43:01
Chrome-Lighthouse	谷歌有限公司 Google（中文译名：谷歌）是总部位于美国加州门洛帕克的跨国科技公司，为Alphabet Inc.的子公司，业务范围涵盖互联网广告、互联网搜索、云计算等领域，开发并提供大量基于互联网的产品与服务。	2023-05-23 06:53:24
CloudFlare crawler	CloudFlare, Inc.	2022-12-19 06:58:26
Google Wireless Transcoder	谷歌有限公司 Google（中文译名：谷歌）是总部位于美国加州门洛帕克的跨国科技公司，为Alphabet Inc.的子公司，业务范围涵盖互联网广告、互联网搜索、云计算等领域，开发并提供大量基于互联网的产品与服务。	2022-12-05 01:10:47
Google AppsViewer	谷歌有限公司 Google（中文译名：谷歌）是总部位于美国加州门洛帕克的跨国科技公司，为Alphabet Inc.的子公司，业务范围涵盖互联网广告、互联网搜索、云计算等领域，开发并提供大量基于互联网的产品与服务。	2022-12-03 09:04:00
Google Site Verification	谷歌有限公司 Google（中文译名：谷歌）是总部位于美国加州门洛帕克的跨国科技公司，为Alphabet Inc.的子公司，业务范围涵盖互联网广告、互联网搜索、云计算等领域，开发并提供大量基于互联网的产品与服务。	2022-11-07 08:57:20
EasyBib crawler	Chegg, Inc.	2022-11-01 08:00:16
OrgProbe	Open Rights Group	2022-10-28 08:05:58
wmtips.com	wmtips.com	2022-10-10 17:22:30
Domains Project bot	Bohdan Turkynewych	2022-10-05 01:33:04
RobotsChecker	Open Rights Group	2022-09-23 01:40:07
Google Apps Script	谷歌有限公司 Google（中文译名：谷歌）是总部位于美国加州门洛帕克的跨国科技公司，为Alphabet Inc.的子公司，业务范围涵盖互联网广告、互联网搜索、云计算等领域，开发并提供大量基于互联网的产品与服务。	2021-12-14 06:15:28
cron-job.org	B1G Software	None
s4a	Capsule Code SAS	None
Cronless	Cronless	None
Ghost Inspector	On Line Construction, Inc.	None
Deskyobot	Gloriot Stéphane	None
TextRazor crawler	TextRazor Ltd.	None
letsencrypt bot	Internet Security Research Group	None
GoogleDocs	谷歌有限公司 Google（中文译名：谷歌）是总部位于美国加州门洛帕克的跨国科技公司，为Alphabet Inc.的子公司，业务范围涵盖互联网广告、互联网搜索、云计算等领域，开发并提供大量基于互联网的产品与服务。	None
Hexometer.com crawler	HexAct Inc.	None
cloudimage.io	Scaleflex SAS	None
alyze.com bot	Alexandre Tourette	None
DareBoost	DareBoost	None
github-camo	Corey Donohoe	None
WGETbot	Alan Reed	None
PowerMapper Crawler	PowerMapper Software	None
GoogleAssociationService	谷歌有限公司 Google（中文译名：谷歌）是总部位于美国加州门洛帕克的跨国科技公司，为Alphabet Inc.的子公司，业务范围涵盖互联网广告、互联网搜索、云计算等领域，开发并提供大量基于互联网的产品与服务。	None
Naver Scrap	NAVER株式会社 NAVER 株式会社（韩语：네이버 주식회사；英语：NAVER Corporation）是韩国目前最大的互联网服务公司。主营搜索引擎业务，旗下控股事业体包含LINE公司及 Camp Mobile 等公司。	None
GpcSupBot	Braedon Vickers	None
imgproxy	Evil Martians	None
MxToolbox bot	MXToolBox, Inc	None
Punkspider	QOMPLX, Inc.	None
ImageFetcher	Andries Louw Wolthuizen（个人）	None
Scribbr Bot	Scribbr B.V.	None
MergadoBot	Mergado technologies, s. r. o.	None
sniptracker	Mitja Perko（个人）	None
Netpeak bot	Netpeak Group	None
Unshorten.It	Cameron Gray（个人）	None
GetLinkInfo.com	GetLinkInfo.com	None
Robots_Tester	Search Engine Promotion Help	None
WebSniffer	Karen Tamrazyan	None
GAChecker	Maciej Lewiński	None
SecurityBot	EdOverflow	None
historious	Stochastic Technologies Ltd.	None
wowLink Crawler	WOWLINK PTE. LTD.	None
BoardReader crawler	Effyis, Inc.	None
Cloudflare SpeedTest	CloudFlare, Inc.	None
AFB	allloadin.com	None
RUB crawler	Ruhr-University Bochum	None
IPLogger Crawler	iplogger.org	None
Web Manifest Validator	Mounir Lamouri	None
SiteCheckerBot	Boosta	None
CastFeedValidator	Blubrry Podcasting	None
Http2Bot	Ayesh Karunaratne	None
Bitextor	Bitextor Team	None
metaforensics.io	Meta Forensics	None
remove.bg	Kaleido AI GmbH	None
hCardValidator	Kornel Lesinski	None
TestURI crawler	testuri.org	None
Google-Structured-Data-Testing	谷歌有限公司 Google（中文译名：谷歌）是总部位于美国加州门洛帕克的跨国科技公司，为Alphabet Inc.的子公司，业务范围涵盖互联网广告、互联网搜索、云计算等领域，开发并提供大量基于互联网的产品与服务。	None
Bad-Neighborhood	Michael VanDeMar	None
TomBot	Tom Anthony	None
WURFL ImageEngine	ScientiaMobile, Inc.	None
Page Analyzer	Ranks NL	None
Closure Compiler Service	谷歌有限公司 Google（中文译名：谷歌）是总部位于美国加州门洛帕克的跨国科技公司，为Alphabet Inc.的子公司，业务范围涵盖互联网广告、互联网搜索、云计算等领域，开发并提供大量基于互联网的产品与服务。	None
Structured Data Markup Helper	谷歌有限公司 Google（中文译名：谷歌）是总部位于美国加州门洛帕克的跨国科技公司，为Alphabet Inc.的子公司，业务范围涵盖互联网广告、互联网搜索、云计算等领域，开发并提供大量基于互联网的产品与服务。	None
GoogleSites	谷歌有限公司 Google（中文译名：谷歌）是总部位于美国加州门洛帕克的跨国科技公司，为Alphabet Inc.的子公司，业务范围涵盖互联网广告、互联网搜索、云计算等领域，开发并提供大量基于互联网的产品与服务。	None
Wheregoes bot	Adfluent Media Inc.	None
RocketValidator crawler	Jaime Iniesta	None
PANDORA bot	National Library of Australia	None
Taringa	Taringa!	None
Protopage	Protopage Ltd.	None
WhoAPI	WhoAPI Inc.	None
2GDPR bot	2GDPR	None
Prerender.cloud	Prerender.cloud	None