是否应该让 GPTBot/1.2 抓取网站 了解详情
使用 GPTBot 用户代理抓取的网页可能会用于改进未来的模型,并会进行过滤以删除需要付费墙访问、已知主要汇总个人身份信息 (PII) 或包含违反我们政策的文本的来源。允许 GPTBot 访问您的网站可以帮助 AI 模型变得更加准确,并提高其一般能力和安全性。
要禁止 GPTBot 访问您的网站,您可以将 GPTBot 添加到您网站的 robots.txt 中:
User-agent: GPTBot
Disallow: /
自定义 GPTBot 访问
为了允许 GPTBot 仅访问您网站的部分内容,您可以将 GPTBot 令牌添加到您网站的 robots.txt 中,如下所示:
User-agent: GPTBot
Allow: /directory-1/
Disallow: /directory-2/
| # | IP 地址 | Hostname | 国家代码 | 旗帜 |
|---|---|---|---|---|
| 1 | 52.230.152.169 | US |
|
|
| 2 | 52.230.152.73 | US |
|
|
| 3 | 52.230.152.11 | US |
|
|
| 4 | 52.230.152.214 | US |
|
|
| 5 | 52.233.106.254 | US |
|
|
| 6 | 52.233.106.253 | US |
|
|
| 7 | 52.233.106.252 | US |
|
|
| 8 | 52.233.106.251 | US |
|
|
| 9 | 52.233.106.250 | US |
|
|
| 10 | 52.233.106.249 | US |
|
要禁止 GPTBot 访问您的网站,您可以将 GPTBot 添加到您网站的 robots.txt 中:
User-agent: GPTBot
Disallow: /
为了允许 GPTBot 仅访问您网站的部分内容,您可以将 GPTBot 令牌添加到您网站的 robots.txt 中,如下所示:
User-agent: GPTBot
Allow: /directory-1/
Disallow: /directory-2/
| # | IP 地址 | Hostname | 国家代码 | 旗帜 |
|---|---|---|---|---|
| 1 | 20.171.207.140 | US |
|
|
| 2 | 20.171.207.228 | US |
|
|
| 3 | 20.171.207.83 | US |
|
|
| 4 | 20.171.207.19 | US |
|
|
| 5 | 20.171.207.122 | US |
|
|
| 6 | 20.171.207.94 | US |
|
|
| 7 | 20.171.207.88 | US |
|
|
| 8 | 20.171.207.130 | US |
|
|
| 9 | 20.171.207.112 | US |
|
|
| 10 | 20.171.207.118 | US |
|
ChatGPT-User/1.0属于 OpenAI 的 ChatGPT-User 爬虫。它是 ChatGPT 插件系统的一部分,用于在用户请求时代表 ChatGPT 访问特定网页,而非自动化地全站爬取内容。其主要用途是为用户提供实时信息,如摘要、翻译或提取网页内容。
ChatGPT-User/1.0 遵守 robots.txt 协议:
允许访问特定目录:
User-agent: ChatGPT-User
Allow: /allowed-directory/
Disallow: /
完全禁止访问:
User-agent: ChatGPT-User
Disallow: /
| # | IP 地址 | Hostname | 国家代码 | 旗帜 |
|---|---|---|---|---|
| 1 | 9.129.16.30 | US |
|
|
| 2 | 172.197.203.22 | AU |
|
|
| 3 | 9.129.22.40 | US |
|
|
| 4 | 9.129.55.233 | US |
|
|
| 5 | 9.129.22.42 | US |
|
|
| 6 | 20.113.225.112 | US |
|
|
| 7 | 20.113.225.121 | US |
|
|
| 8 | 20.222.36.202 | US |
|
|
| 9 | 9.129.54.163 | US |
|
|
| 10 | 9.129.55.238 | US |
|
OAI-SearchBot 是 OpenAI 推出的网页爬虫,主要用于其搜索引擎产品 SearchGPT 的内容索引。
禁止访问:
如果您不希望 OAI-SearchBot 访问您的网站,可以在 robots.txt 文件中添加以下规则:
User-agent: OAI-SearchBot
Disallow: /
| # | IP 地址 | Hostname | 国家代码 | 旗帜 |
|---|---|---|---|---|
| 1 | 172.203.190.139 | US |
|
|
| 2 | 135.234.64.254 | US |
|
|
| 3 | 135.234.64.253 | US |
|
|
| 4 | 135.234.64.252 | US |
|
|
| 5 | 135.234.64.251 | US |
|
|
| 6 | 135.234.64.250 | US |
|
|
| 7 | 135.234.64.249 | US |
|
|
| 8 | 135.234.64.248 | US |
|
|
| 9 | 135.234.64.247 | US |
|
|
| 10 | 135.234.64.246 | US |
|
OAI-SearchBot 是 OpenAI 推出的网页爬虫,主要用于其搜索引擎产品 SearchGPT 的内容索引。
如果您不希望 OAI-SearchBot 访问您的网站,可以在 robots.txt 文件中添加以下规则:
User-agent: OAI-SearchBot
Disallow: /
| # | IP 地址 | Hostname | 国家代码 | 旗帜 |
|---|---|---|---|---|
| 1 | 74.7.229.58 | US |
|
|
| 2 | 74.7.228.135 | US |
|
|
| 3 | 74.7.229.19 | US |
|
|
| 4 | 74.7.229.48 | US |
|
|
| 5 | 74.7.229.14 | US |
|
|
| 6 | 74.7.228.148 | US |
|
|
| 7 | 74.7.229.44 | US |
|
|
| 8 | 74.7.229.75 | US |
|
|
| 9 | 74.7.228.133 | US |
|
|
| 10 | 74.7.229.76 | US |
|
OAI-SearchBot/1.3 是 OpenAI 推出的网页爬虫,主要用于其搜索引擎产品 SearchGPT 的内容索引。
禁止访问:
如果您不希望 OAI-SearchBot 访问您的网站,可以在 robots.txt 文件中添加以下规则:
User-agent: OAI-SearchBot
Disallow: /
| # | IP 地址 | Hostname | 国家代码 | 旗帜 |
|---|---|---|---|---|
| 1 | 74.7.242.143 | US |
|
|
| 2 | 74.7.242.149 | US |
|
|
| 3 | 74.7.243.38 | US |
|
|
| 4 | 74.7.242.146 | US |
|
|
| 5 | 74.7.242.169 | US |
|
|
| 6 | 74.7.242.129 | US |
|
|
| 7 | 74.7.243.32 | US |
|
|
| 8 | 74.7.243.35 | US |
|
|
| 9 | 74.7.242.141 | US |
|
|
| 10 | 74.7.243.20 | US |
|
OAI-SearchBot/1.3 是 OpenAI 推出的网页爬虫,主要用于其搜索引擎产品 SearchGPT 的内容索引。
禁止访问:
如果您不希望 OAI-SearchBot 访问您的网站,可以在 robots.txt 文件中添加以下规则:
User-agent: OAI-SearchBot
Disallow: /
OAI-SearchBot/1.4 是 OpenAI 推出的网页爬虫,主要用于其 搜索引擎产品 SearchGPT 的内容索引。
如果您不希望 OAI-SearchBot 访问您的网站,可以在 robots.txt 文件中添加以下规则:
User-agent: OAI-SearchBot
Disallow: /
| # | IP 地址 | Hostname | 国家代码 | 旗帜 |
|---|---|---|---|---|
| 1 | 74.7.228.245 | US |
|
|
| 2 | 74.7.229.187 | US |
|
|
| 3 | 74.7.242.141 | US |
|
|
| 4 | 74.7.229.135 | US |
|
|
| 5 | 74.7.242.175 | US |
|
|
| 6 | 74.7.229.117 | US |
|
|
| 7 | 74.7.242.138 | US |
|
|
| 8 | 74.7.229.101 | US |
|
|
| 9 | 74.7.243.20 | US |
|
|
| 10 | 74.7.229.181 | US |
|