是否应该让 GPTBot/1.2 抓取网站 了解详情
“Arena.ai bot” 是 Arena Intelligence, Inc.(原 LMSYS Chatbot Arena / LMArena)所运营的爬虫或自动化程序。
与其像 OpenAI 的 GPTBot 那样大规模抓取网页用于模型训练不同,Arena.ai 的爬虫主要用于其 AI 模型基准测试平台(Chatbot Arena) 中的功能支持(如链接预览、网页快照等)。
当用户在 Chatbot Arena 的对话框中输入一个 URL 时,ArenaUnfurlBot 会访问该网页以获取标题、描述和缩略图,方便用户和 AI 模型查看。
ArenaUnfurlBot/1.0 遵守 robots.txt 协议:
User-agent: ArenaUnfurlBot
Disallow: /
| # | IP 地址 | Hostname | 国家代码 | 旗帜 |
|---|---|---|---|---|
| 1 | 13.57.142.209 | ec2-13-57-142-209.us-west-1.compute.amazonaws.com | US |
|
| 2 | 54.183.28.222 | ec2-54-183-28-222.us-west-1.compute.amazonaws.com | US |
|
LMArenaUnfurlBot 就是专门为了在 LMArena 平台上生成这种网页预览卡片而设计的程序。
LMArenaUnfurlBot/1.0 遵守 robots.txt 协议:
User-agent: LMArena bot
Disallow: /
| # | IP 地址 | Hostname | 国家代码 | 旗帜 |
|---|---|---|---|---|
| 1 | 54.153.102.248 | ec2-54-153-102-248.us-west-1.compute.amazonaws.com | US |
|
| 2 | 3.101.91.35 | ec2-3-101-91-35.us-west-1.compute.amazonaws.com | US |
|