是否应该让 GPTBot/1.2 抓取网站 了解详情
Scour 是一种个性化内容信息流服务,可以理解为加入了语义匹配功能的 RSS 阅读器。用户填写自己感兴趣的主题并订阅信息源,Scour 抓取相应内容,然后根据用户兴趣对文章进行排序。
Scour RSS Bot 是由 Evan Schwartz 开发、Scour 运营的内容聚合爬虫。它根据用户主动订阅的 RSS、Atom、JSON Feed 或博客页面定期检查更新,并在发现新文章后抓取正文,通过语义 embedding 将内容与用户兴趣进行匹配。该爬虫不用于训练 AI 模型,但不遵守 robots.txt。
| # | IP 地址 | Hostname | 国家代码 | 旗帜 |
|---|---|---|---|---|
| 1 | 2605:6440:d000:14::24 | US |
|