AwarioBot/1.0 收集互联网公开数据，为互联网营销人员提供服务。

为什么要抓取我的网站？

AwarioSmartBot 和 AwarioRssBot 收集Awario 应用程序 进一步使用的 Web 数据，让互联网营销人员找到谁在网上提及他们的品牌。

如果 AwarioSmartBot/AwarioRssBot 爬虫访问过您的页面，这意味着它的内容从未被收集和分析过，也不需要刷新。因此，您不会看到 AwarioSmartBot/AwarioRssBot 爬虫对同一页面的重复请求。

使用robots.txt进行拦截

AwarioSmartBot 和 AwarioRssBot 是：

• 仅收集任何随机访问者都可以访问的公开信息。如果您认为爬虫收集了一些敏感信息，请将其从公共访问中删除。
• 不能使您的网站超载并对其造成任何伤害——Awario 机器人被设计得非常有礼貌，它们最多每 3 秒只能进行 1 次点击。此外，您可以根据 robots.txt 文件中的说明轻松减慢机器人速度。

然而，即使 Awario 机器人是无害的，您仍然可能希望防止机器人抓取您的网站。最简单快捷的方法是使用“robots.txt”。此文本文件包含有关机器人应如何处理您的站点数据的说明。

使用 robots.txt 文件，您可以阻止 Awario 爬虫进入您的站点或减慢它们的速度，如以下示例所示：

阻止您网站的特定部分：

User-agent: AwarioRssBot
User-agent: AwarioSmartBot
Disallow: /private/

阻止整个网站被访问：

User-agent: AwarioRssBot
User-agent: AwarioSmartBot
Disallow: /

放慢抓取速度：

User-agent: AwarioRssBot
User-agent: AwarioSmartBot
Crawl-delay: 10