fynd.bot crawler 概况
活动
FyndSearchEngine-AddURL-Crawler
爬虫类别
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
不遵守
说明：
这是一款“按需触发”的定向抓取机器人。
它与在互联网上随机漫游的常规爬虫不同。当网站管理员或普通用户在 fynd.bot 的网站提交页面（即 https://fynd.bot/addurl/）手动输入并提交了一个网页链接，要求搜索引擎收录该页面时，这个专用的 AddURL 爬虫就会被激活。
它的唯一任务就是立刻访问并抓取被手动提交的那个特定网页，分析其内容并将其加入到 fynd.bot 的搜索索引数据库中。
IP 地址总数
1
爬虫 IP 地址列表
| # | IP 地址 | Hostname | 国家代码 | 旗帜 |
|---|---|---|---|---|
| 1 | 169.197.183.249 | host-a24-249.interlayer.net | US |
|
FyndSearchEngine-ReCrawler
爬虫类别
首次出现时间
最后一次出现时间
是否遵守 robots.txt 协议
不明
说明：
核心功能
-
内容快照更新（Content Refresh）： 互联网上的网页（如新闻、博客、商品页）会不断被修改。ReCrawler 会按照一定的算法和周期，定期“回访”那些已经被 fynd.bot 收录的网页，抓取最新的文本变化，以确保用户搜索到的内容是最新的。
-
死链与状态检测（Dead Link Detection）： 当它回访某个网页时，如果发现该网页已被站长删除（服务器返回 404 Not Found）或发生了永久重定向（返回 301），它会将这个信息反馈给主数据库，从而将失效的链接从 fynd.bot 的搜索结果中剔除，提升搜索质量。
IP 地址总数
1
爬虫 IP 地址列表
| # | IP 地址 | Hostname | 国家代码 | 旗帜 |
|---|---|---|---|---|
| 1 | 169.197.183.252 | host-a24-252.interlayer.net | US |
|
