Qwant 遵守 http://www.robotstxt.org/wc/exclusion.html#robotstxt 中描述的机器人规则标准
验证爬虫
要检查访问您服务器的网络爬虫是否来自 Qwant，请进行反向 dns 查找。
Qwant 的爬虫会用« qwantbot-ReverseIP.qwant.com »宣布自己 ，例如：
> 主机 194.187.171.1
1.171.187.194.in-addr.arpa 域名指针 qwantbot-1-171-187-194.qwant.com