搜索引擎与爬虫

如何识别假爬虫

如何识别假爬虫

我们在检查网站日志的时候,经常会遇到各种各样的爬虫。有的是正常的爬虫,例如:搜索引擎爬虫(百度搜索引擎爬虫Google 搜索引擎爬虫Bing 搜索引擎爬虫YandexBot 等),还有一些各种功能的爬虫,可以在这里查看:list crawlers

但是,互联网上并不是所有的爬虫都是有益的,有些爬虫为了极力隐藏自己,于是就会学习真实爬虫的一些特征。还有一些是假爬虫,也就是伪造那些搜索引擎的爬虫,会来抓取你网站的数据,虽然 User-agent 看起来与搜索引擎的无异,但是 IP 却不属于该搜索引擎的,这个时候据需要我们精准的识别这些假爬虫的 IP 地址。

通过爬虫 IP 查询工具,我们便可以很轻松的识别假爬虫,例如:

34.68.229.128 Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

这个是我简化了的日志记录,前面是 IP 地址,后面是访问爬虫的 User-agent ,通过 User-agent 我们可以看出来他是一个 Google 搜索引擎的蜘蛛。

通过查询,我们可以看到这是一个假的 Google 蜘蛛,截图如下:

假爬虫查询结果

我们只需要输入假爬虫的 IP 地址,就可以看出来爬虫的一些信息。这样不管是真假李逵(真假爬虫)都逃不出我们的火眼金睛了。

同时如果我们想查看更多的假爬虫,可以到这里去:list crawlers fake bot,整理了互联网上常见的假爬虫。

总结

通过介绍什么是假爬虫,以及如何通过爬虫 IP 查询这个工具,精准识别假爬虫。