爬虫识别

搜狗蜘蛛更改 PTR 记录 了解详情

MRGbot

MRGbotMRGbot 概况

MRG Web Services srl

MRGbot

MRGbot status 活动

MRGbot 说明

什么是 MRGbot,它的用途是什么

MRGbot 是 MRG Web Services 的桌面网络爬虫的名称。MRGbot 模拟用户在桌面上的浏览活动。

MRGbot 如何访问您的网站

因此,您的日志可能会显示来自 mrg.ro 的多台机器的访问,所有这些机器都使用 MRGbot 用户代理。完全同意网络是完全不受控制的异构文档的巨大集合。MRGbot 的目标是在不占用服务器带宽的情况下从每个站点抓取几个页面。

MRGbot 仅通过 HTTP/1.1 进行爬网。

如果您想阻止 MRGbot 抓取您网站上的内容,您有多种选择。请注意阻止 MRGbot 抓取页面、阻止 MRGbot 索引页面以及阻止爬虫或用户完全访问页面之间的区别。

MRGbot/1.0
爬虫类别
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
遵守
说明:

MRGbot/1.0 是 MRG 公司开发的爬虫程序,当前的 User-agent 是:Mozilla/5.0 (compatible; MRGbot/1.0; +https://www.mrg.ro/bot.html)

IP 地址总数
2
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 62.231.95.189 62-231-95-189.rdsnet.ro RO RO flag
2 62.231.95.186 62-231-95-186.rdsnet.ro RO RO flag
MRGbot/1.0
爬虫类别
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
遵守
说明:

MRGbot/1.0 是 MRG 公司开发的爬虫程序,当前的 User-agent 是:Mozilla/5.0 (compatible; MRGbot/1.0;

IP 地址总数
1
爬虫 IP 地址列表
# IP 地址 Hostname 国家代码 旗帜
1 62.231.95.189 62-231-95-189.rdsnet.ro RO RO flag
返回顶部