如何使用 Robots 协议阻止 PetalBot 抓取网站

1. 如何阻止 PetalBot 访问您的网站

PetalBot 符合互联网机器人协议。您可以使用 robots.txt 文件完全阻止 PetalBot 访问您的网站,或者阻止 PetalBot 访问您网站上的某些文件。

注意:禁止 PetalBot 访问您的网站将使您网站上的页面和 Petal 提供的所有搜索引擎服务无法在 Petal 搜索引擎中搜索到。

设置建议

可以根据每个产品的不同user-agent设置不同的爬取规则,直接阻止 PetalBot 爬取。以下机器人可以阻止 PetalBot 或条件允许:

 User-agent: PetalBot
 Disallow: /

 User-agent: PetalBot
 Allow: /w/api/
 Disallow: /trap/

2. PetalBot 给 Web 服务器带来多大压力

为了对目标资源有更好的检索结果,PetalBot 需要对您的网站保持一定的抓取量。PetalBot 尽量不给网站带来不合理的负担,PetalBot 会根据服务器容量、网站质量、网站更新等综合因素进行调整。如果 PetalBot的来访有任何不合理的行为,请将您的疑虑发送至 petalbot@huawei.com

这篇文章是否对您有帮助?
如何改善这篇文章,使其对你更有帮助?
很有帮助
没有帮助

服务器出现错误,请稍后再试!