爬虫列表:网络爬虫以及我们如何利用网络爬虫 了解详情
Linespider 是一个网络爬虫,它提供广泛的 LINE 服务搜索结果,同时遵守机器人排除协议。
Linespider/1.1 是 Line 服务的爬虫程序。
当前的 User-agent 是:Mozilla/5.0 (compatible; Linespider/1.1; +https://lin.ee/4dwXkTH)
Linespider/1.1 遵守 robots.txt 协议,如果禁止 Linespider/1.1 抓取网站任何内容,具体写法如下:
User-agent:Linespider
disallow: /
# | IP 地址 | Hostname | 国家代码 | 旗帜 |
---|---|---|---|---|
1 | 147.92.153.254 | crawl.147-92-153-254.search.line-apps.com | JP |
|
2 | 147.92.153.253 | crawl.147-92-153-253.search.line-apps.com | JP |
|
3 | 147.92.153.252 | crawl.147-92-153-252.search.line-apps.com | JP |
|
4 | 147.92.153.251 | crawl.147-92-153-251.search.line-apps.com | JP |
|
5 | 147.92.153.250 | crawl.147-92-153-250.search.line-apps.com | JP |
|
6 | 147.92.153.249 | crawl.147-92-153-249.search.line-apps.com | JP |
|
7 | 147.92.153.248 | crawl.147-92-153-248.search.line-apps.com | JP |
|
8 | 147.92.153.247 | crawl.147-92-153-247.search.line-apps.com | JP |
|
9 | 147.92.153.246 | crawl.147-92-153-246.search.line-apps.com | JP |
|
10 | 147.92.153.245 | crawl.147-92-153-245.search.line-apps.com | JP |
|