爬虫识别支持 IPv6 地址访问 了解详情
Facebook 网络爬虫将通过复制粘贴链接,或通过 Facebook 社交插件,爬取 Facebook 上分享的应用或网站的 HTML 数据。网络爬虫会收集、缓存和显示应用或网站相关信息,如网站标题、描述和缩略图等。
Facebook 网络爬虫将通过复制粘贴链接,或通过 Facebook 社交插件,爬取 Facebook 上分享的应用或网站的 HTML 数据。网络爬虫会收集、缓存和显示应用或网站相关信息,如网站标题、描述和缩略图等。
当前 User-Agent 为:facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)
# | IP 地址 | Hostname | 国家代码 | 旗帜 |
---|---|---|---|---|
1 | 2a03:2880:13ff:70:: | US |
|
|
2 | 2a03:2880:13ff:8:: | US |
|
|
3 | 173.252.87.3 | fwdproxy-ftw-003.fbsv.net | US |
|
4 | 2a03:2880:13ff:3:: | US |
|
|
5 | 2a03:2880:13ff:1:: | US |
|
|
6 | 2a03:2880:13ff:9:: | US |
|
|
7 | 2a03:2880:11ff:7:: | US |
|
|
8 | 2a03:2880:11ff:4:: | US |
|
|
9 | 2a03:2880:11ff:5:: | US |
|
|
10 | 173.252.107.5 | fwdproxy-rva-005.fbsv.net | US |
|
Meta-ExternalAgent 爬虫会抓取网页,用于各种用例,例如训练 AI 模型或通过将内容直接编入索引来改进产品。
如果需要屏蔽 Meta-ExternalAgent 可以使用 robots.txt 文件,写法如下:
User-agent: meta-externalagent
Allow: / # Allow everything
Disallow: /private/ # Disallow a specific directory
# | IP 地址 | Hostname | 国家代码 | 旗帜 |
---|---|---|---|---|
1 | 2a03:2880:f802:: | IE |
|
|
2 | 2a03:2880:f802:1b:: | IE |
|
|
3 | 2a03:2880:f802:c:: | IE |
|
|
4 | 2a03:2880:f802:1:: | IE |
|
|
5 | 2a03:2880:f802:b:: | IE |
|
|
6 | 2a03:2880:24ff:72:: | US |
|
|
7 | 57.141.2.19 | US |
|
|
8 | 2a03:2880:f802:1c:: | IE |
|
|
9 | 57.141.2.10 | US |
|
|
10 | 2a03:2880:f802:11:: | IE |
|
FacebookExternalHit 的主要目的是抓取在 Meta 系列应用(例如 Facebook、Instagram 或 Messenger)上共享的应用或网站的内容。链接可能是通过复制粘贴或使用Facebook 社交插件共享的。此抓取工具会收集、缓存和显示有关应用或网站的信息,例如其标题、说明和缩略图。
# | IP 地址 | Hostname | 国家代码 | 旗帜 |
---|---|---|---|---|
1 | 2a03:2880:27ff:c::face:b00c | fwdproxy-ldc-012.fbsv.net | US |
|
2 | 2a03:2880:ff:6::face:b00c | fwdproxy-prn-006.fbsv.net | US |
|
3 | 69.171.228.118 | fwdproxy-zaz-118.fbsv.net | US |
|
4 | 173.252.95.10 | fwdproxy-atn-010.fbsv.net | US |
|
5 | 173.252.122.123 | US |
|
|
6 | 173.252.106.119 | US |
|
|
7 | 2a03:2880:ff:13::face:b00c | fwdproxy-prn-019.fbsv.net | US |
|
8 | 173.252.83.30 | fwdproxy-pnb-030.fbsv.net | US |
|
9 | 2a03:2880:ff:27::face:b00c | fwdproxy-prn-039.fbsv.net | US |
|
10 | 2a03:2880:ff:73::face:b00c | fwdproxy-prn-115.fbsv.net | US |
|