是否应该让 GPTBot/1.2 抓取网站 了解详情
抓取公开网页并转换成适合大模型读取的 Markdown
Markdown.new 遵守 robots.txt 协议,具体写法如下:
User-agent: markdown.new
Disallow: /
| # | IP 地址 | Hostname | 国家代码 | 旗帜 |
|---|---|---|---|---|
| 1 | 172.68.213.8 | CZ |
|
|
| 2 | 172.68.213.103 | CZ |
|
|
| 3 | 172.68.213.94 | CZ |
|