SEMrushBot 详细信息 - 爬虫识别

所属公司

Semrush Inc

官方文档

SEMrushBot

爬虫状态

活动

SemrushBot 是Semrush 发出的搜索机器人软件，用于发现和收集新的和更新的网络数据。

User-Agent

SemrushBot/0.9

爬虫类别

营销

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	Hostname	国家代码
1	184.73.146.41	ec2-184-73-146-41.compute-1.amazonaws.com	US
2	184.73.60.255	ec2-184-73-60-255.compute-1.amazonaws.com	US
3	184.73.45.254	ec2-184-73-45-254.compute-1.amazonaws.com	US
4	184.73.31.225	ec2-184-73-31-225.compute-1.amazonaws.com	US
5	184.73.0.176	ec2-184-73-0-176.compute-1.amazonaws.com	US
6	184.72.171.202	ec2-184-72-171-202.compute-1.amazonaws.com	US
7	184.72.168.246	ec2-184-72-168-246.compute-1.amazonaws.com	US
8	184.72.68.95	ec2-184-72-68-95.compute-1.amazonaws.com	US
9	174.129.83.124	ec2-174-129-83-124.compute-1.amazonaws.com	US
10	107.22.75.243	ec2-107-22-75-243.compute-1.amazonaws.com	US

注：最多只显示10个 IP 地址

User-Agent

SemrushBot/Nutch-1.5-SNAPSHOT

爬虫类别

营销

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	Hostname	国家代码
1	204.236.243.108	ec2-204-236-243-108.compute-1.amazonaws.com	US
2	184.73.142.88	ec2-184-73-142-88.compute-1.amazonaws.com	US
3	184.73.58.164	ec2-184-73-58-164.compute-1.amazonaws.com	US
4	184.73.13.192	ec2-184-73-13-192.compute-1.amazonaws.com	US
5	184.72.181.183	ec2-184-72-181-183.compute-1.amazonaws.com	US
6	184.72.163.70	ec2-184-72-163-70.compute-1.amazonaws.com	US
7	50.19.162.61	ec2-50-19-162-61.compute-1.amazonaws.com	US
8	50.16.162.168	ec2-50-16-162-168.compute-1.amazonaws.com	US

User-Agent

SemrushBot/0.91

爬虫类别

营销

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	Hostname	国家代码
1	184.72.187.47	ec2-184-72-187-47.compute-1.amazonaws.com	US
2	184.72.140.220	ec2-184-72-140-220.compute-1.amazonaws.com	US
3	107.22.128.82	ec2-107-22-128-82.compute-1.amazonaws.com	US
4	107.21.155.119	ec2-107-21-155-119.compute-1.amazonaws.com	US
5	107.21.149.52	ec2-107-21-149-52.compute-1.amazonaws.com	US
6	107.20.48.129	ec2-107-20-48-129.compute-1.amazonaws.com	US
7	75.101.210.171	ec2-75-101-210-171.compute-1.amazonaws.com	US
8	50.16.154.80	ec2-50-16-154-80.compute-1.amazonaws.com	US
9	50.16.11.183	ec2-50-16-11-183.compute-1.amazonaws.com	US
10	23.20.75.166	ec2-23-20-75-166.compute-1.amazonaws.com	US

注：最多只显示10个 IP 地址

User-Agent

SemrushBot/0.92

爬虫类别

营销

首次出现时间

2022-11-01 06:48:56

最后一次出现时间

2022-11-01 06:48:59

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	Hostname	国家代码
1	50.17.33.197	ec2-50-17-33-197.compute-1.amazonaws.com	US
2	184.73.143.31	ec2-184-73-143-31.compute-1.amazonaws.com	US
3	204.236.244.200	ec2-204-236-244-200.compute-1.amazonaws.com	US
4	184.72.94.71	ec2-184-72-94-71.compute-1.amazonaws.com	US
5	174.129.166.77	ec2-174-129-166-77.compute-1.amazonaws.com	US
6	107.22.134.187	ec2-107-22-134-187.compute-1.amazonaws.com	US
7	107.22.68.116	ec2-107-22-68-116.compute-1.amazonaws.com	US
8	107.21.183.210	ec2-107-21-183-210.compute-1.amazonaws.com	US
9	50.19.36.141	ec2-50-19-36-141.compute-1.amazonaws.com	US
10	50.17.105.131	ec2-50-17-105-131.compute-1.amazonaws.com	US

注：最多只显示10个 IP 地址

User-Agent

Mozilla/5.0 (compatible; SemrushBot/0.95; +http://www.semrush.com/bot.html)

爬虫类别

营销

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	国家代码
1	46.229.164.103	US
2	46.229.161.138	US
3	46.229.161.136	US
4	46.229.161.132	US

User-Agent

Mozilla/5.0 (compatible; SemrushBot/0.96.3; +http://www.semrush.com/bot.html)

爬虫类别

营销

首次出现时间

2022-11-05 09:01:01

最后一次出现时间

2022-11-05 09:59:59

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	国家代码
1	46.229.164.99	US
2	46.229.164.98	US
3	46.229.164.100	US

User-Agent

Mozilla/5.0 (compatible; SemrushBot/0.97; +http://www.semrush.com/bot.html)

爬虫类别

营销

首次出现时间

2022-11-02 03:19:47

最后一次出现时间

2022-11-02 03:20:23

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	Hostname	国家代码	旗帜
1	46.229.164.101		US
2	46.229.164.102		US

User-Agent

Mozilla/5.0 (compatible; SemrushBot/0.96.4; +http://www.semrush.com/bot.html)

爬虫类别

营销

首次出现时间

2022-11-01 07:33:40

最后一次出现时间

2022-11-01 07:39:43

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	Hostname	国家代码	旗帜
1	46.229.164.97		US

User-Agent

Mozilla/5.0 (compatible; SemrushBot/0.97~bl; +http://www.semrush.com/bot.html)

爬虫类别

营销

首次出现时间

2022-09-07 11:40:33

最后一次出现时间

2022-09-07 12:41:15

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	Hostname	国家代码	旗帜
1	46.229.164.100		US

User-Agent

Mozilla/5.0 (compatible; SemrushBot-SA/0.97; +http://www.semrush.com/bot.html)

爬虫类别

营销

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	Hostname	国家代码	旗帜
1	213.174.152.174		US
2	46.229.173.65		US

User-Agent

Mozilla/5.0 (compatible; SemrushBot/0.98~bl; +http://www.semrush.com/bot.html)

爬虫类别

营销

首次出现时间

2022-09-08 09:03:16

最后一次出现时间

2022-09-14 03:16:06

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	国家代码
1	46.229.164.102	US
2	46.229.164.98	US
3	46.229.164.100	US
4	46.229.164.101	US
5	46.229.164.99	US
6	46.229.164.111	US
7	46.229.164.114	US
8	46.229.164.113	US
9	46.229.164.115	US
10	46.229.164.112	US

User-Agent

Mozilla/5.0 (compatible; SemrushBot-SI/0.97; +http://www.semrush.com/bot.html)

爬虫类别

营销

首次出现时间

2022-05-20 00:53:38

最后一次出现时间

2024-01-07 12:37:46

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	Hostname	国家代码
1	85.208.98.53		US
2	192.243.56.76		DM
3	213.174.147.83		US
4	85.208.96.49		US
5	85.208.98.49	1.si.bot.semrush.com	US
6	213.174.146.73		US
7	213.174.146.71		US
8	192.243.55.100		DM
9	192.243.51.93		US
10	85.208.96.50		US

User-Agent

Mozilla/5.0 (compatible; SemrushBot/1~bl; +http://www.semrush.com/bot.html)

爬虫类别

营销

首次出现时间

2022-09-20 02:06:54

最后一次出现时间

2022-09-21 01:25:30

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	国家代码
1	192.243.55.132	DM
2	192.243.55.136	DM
3	192.243.55.138	DM
4	192.243.55.135	DM
5	192.243.55.129	DM
6	46.229.164.99	US
7	192.243.55.133	DM
8	192.243.55.134	DM
9	192.243.55.130	DM
10	192.243.55.131	DM

注：最多只显示10个 IP 地址

User-Agent

Mozilla/5.0 (compatible; SemrushBot/1.1~bl; +http://www.semrush.com/bot.html)

爬虫类别

营销

首次出现时间

2022-09-14 07:57:29

最后一次出现时间

2022-09-20 01:47:08

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	国家代码
1	46.229.164.101	US
2	46.229.164.102	US
3	46.229.164.100	US
4	46.229.164.98	US
5	192.243.55.133	DM
6	192.243.55.129	DM
7	192.243.55.134	DM
8	192.243.55.138	DM
9	192.243.55.132	DM
10	192.243.55.131	DM

注：最多只显示10个 IP 地址

User-Agent

SEMrushBot

爬虫类别

营销

首次出现时间

2021-08-26 16:59:44

最后一次出现时间

2024-04-20 04:00:58

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	Hostname	国家代码
1	85.208.98.17	bot.semrush.com	US
2	85.208.98.36	bot.semrush.com	US
3	85.208.98.21	bot.semrush.com	US
4	213.174.152.152		US
5	192.243.55.126		DM

User-Agent

Mozilla/5.0 (compatible; SemrushBot/1.2~bl; +http://www.semrush.com/bot.html)

爬虫类别

营销

首次出现时间

2022-09-14 11:23:40

最后一次出现时间

2022-11-01 03:01:37

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	Hostname	国家代码
1	46.229.168.77	crawl13.bl.semrush.com	US
2	46.229.168.66	crawl2.bl.semrush.com	US
3	46.229.168.70	crawl6.bl.semrush.com	US
4	46.229.168.68		US
5	46.229.168.74	crawl10.bl.semrush.com	US
6	46.229.168.76		US
7	46.229.164.102		US
8	46.229.168.78		US
9	46.229.168.67		US
10	46.229.164.100		US

注：最多只显示10个 IP 地址

User-Agent

Mozilla/5.0 (compatible; SemrushBot-BA; +http://www.semrush.com/bot.html)

爬虫类别

营销

首次出现时间

2021-08-16 00:55:55

最后一次出现时间

2024-04-22 14:04:23

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	Hostname	国家代码
1	85.208.98.29	3.bat.bot.semrush.com	US
2	85.208.98.20	6.bat.bot.semrush.com	US
3	85.208.98.24	2.bat.bot.semrush.com	US
4	85.208.98.16	8.bat.bot.semrush.com	US
5	85.208.98.22	7.bat.bot.semrush.com	US
6	85.208.98.31	5.bat.bot.semrush.com	US
7	85.208.98.19	bot.semrush.com	US
8	85.208.98.17	bot.semrush.com	US
9	85.208.98.23	bot.semrush.com	US
10	85.208.98.18	bot.semrush.com	US

注：最多只显示10个 IP 地址

User-Agent

Mozilla/5.0 (compatible; SemrushBot/2~bl; +http://www.semrush.com/bot.html)

爬虫类别

营销

首次出现时间

2022-10-28 06:42:34

最后一次出现时间

2022-12-01 10:00:31

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	Hostname	国家代码
1	46.229.168.146		US
2	46.229.168.81		US
3	46.229.168.77	crawl13.bl.semrush.com	US
4	46.229.168.75	crawl11.bl.semrush.com	US
5	46.229.168.80	crawl16.bl.semrush.com	US
6	46.229.168.79	crawl15.bl.semrush.com	US
7	46.229.168.78	crawl14.bl.semrush.com	US
8	46.229.168.73	crawl9.bl.semrush.com	US
9	46.229.168.69	crawl5.bl.semrush.com	US
10	46.229.168.67	crawl3.bl.semrush.com	US

注：最多只显示10个 IP 地址

User-Agent

Mozilla/5.0 (compatible; SemrushBot/1.0~bm; +http://www.semrush.com/bot.html)

爬虫类别

营销

首次出现时间

2022-10-28 09:41:55

最后一次出现时间

2022-10-28 09:46:11

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	国家代码
1	192.243.55.70	DM
2	213.174.152.187	US
3	213.174.152.186	US
4	213.174.152.185	US
5	213.174.152.184	US
6	213.174.152.183	US
7	213.174.152.182	US
8	213.174.152.181	US
9	213.174.152.143	US
10	213.174.152.142	US

注：最多只显示10个 IP 地址

User-Agent

Mozilla/5.0 (compatible; SemrushBot/3~bl; +http://www.semrush.com/bot.html)

爬虫类别

营销

首次出现时间

2022-10-28 01:44:54

最后一次出现时间

2022-11-01 03:10:20

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	国家代码
1	46.229.168.142	US
2	46.229.168.145	US
3	46.229.168.161	US
4	46.229.168.151	US
5	46.229.168.138	US
6	46.229.168.130	US
7	46.229.168.163	US
8	46.229.168.135	US
9	46.229.168.129	US
10	46.229.168.146	US

注：最多只显示10个 IP 地址

User-Agent

Mozilla/5.0 (compatible; SemrushBot/3~bl; http://www.semrush.com/bot.html)

爬虫类别

营销

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	Hostname	国家代码	旗帜
1	194.36.110.216		GB

User-Agent

Mozilla/5.0 (compatible; SemrushBot/6~bl; +http://www.semrush.com/bot.html)

爬虫类别

营销

首次出现时间

2022-10-05 03:13:14

最后一次出现时间

2020-11-08 06:15:46

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	Hostname	国家代码
1	185.191.171.9	9.bl.bot.semrush.com	CY
2	185.191.171.40	40.bl.bot.semrush.com	CY
3	185.191.171.37	37.bl.bot.semrush.com	CY
4	185.191.171.44	44.bl.bot.semrush.com	CY
5	185.191.171.11	11.bl.bot.semrush.com	CY
6	185.191.171.13	13.bl.bot.semrush.com	CY
7	185.191.171.34	34.bl.bot.semrush.com	CY
8	185.191.171.38	38.bl.bot.semrush.com	CY
9	185.191.171.23	23.bl.bot.semrush.com	CY
10	185.191.171.43	43.bl.bot.semrush.com	CY

注：最多只显示10个 IP 地址

User-Agent

Mozilla/5.0 (compatible; SemrushBot/6~bl; http://www.semrush.com/bot.html)

爬虫类别

营销

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	Hostname	国家代码
1	46.229.168.163	crawl33.bl.semrush.com	US
2	46.229.168.162	crawl32.bl.semrush.com	US
3	46.229.168.161	crawl31.bl.semrush.com	US
4	46.229.168.154	crawl26.bl.semrush.com	US
5	46.229.168.153	crawl25.bl.semrush.com	US
6	46.229.168.152	crawl24.bl.semrush.com	US
7	46.229.168.151	crawl23.bl.semrush.com	US
8	46.229.168.150	crawl22.bl.semrush.com	US
9	46.229.168.149	crawl21.bl.semrush.com	US
10	46.229.168.148	crawl20.bl.semrush.com	US

注：最多只显示10个 IP 地址

User-Agent

Mozilla/5.0 (compatible; SemrushBot-BM/1.0; +http://www.semrush.com/bot.html)

爬虫类别

营销

首次出现时间

2021-09-04 22:16:09

最后一次出现时间

2022-11-29 06:03:44

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	国家代码
1	85.208.98.38	US
2	85.208.98.51	US
3	85.208.96.71	US
4	85.208.96.70	US
5	85.208.96.69	US
6	85.208.96.68	US
7	85.208.96.67	US
8	85.208.96.66	US
9	85.208.96.65	US

User-Agent

Mozilla/5.0 (compatible; SemrushBot; +http://www.semrush.com/bot.html)

爬虫类别

营销

首次出现时间

2021-11-20 03:09:51

最后一次出现时间

2024-04-24 10:45:30

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	Hostname	国家代码
1	85.208.98.18	bot.semrush.com	US
2	85.208.98.48		US
3	85.208.98.25	bot.semrush.com	US

User-Agent

Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html)

爬虫类别

营销

首次出现时间

2021-08-13 01:37:25

最后一次出现时间

2024-04-25 04:31:04

是否遵守 robots.txt 协议

遵守

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	Hostname	国家代码
1	185.191.171.18	crawl18.bl.semrush.com	CY
2	185.191.171.4	crawl4.bl.semrush.com	CY
3	185.191.171.6	crawl6.bl.semrush.com	CY
4	185.191.171.3	crawl3.bl.semrush.com	CY
5	185.191.171.19	crawl19.bl.semrush.com	CY
6	185.191.171.17	crawl17.bl.semrush.com	CY
7	185.191.171.11	crawl11.bl.semrush.com	CY
8	185.191.171.10	crawl10.bl.semrush.com	CY
9	185.191.171.16	crawl16.bl.semrush.com	CY
10	185.191.171.15	crawl15.bl.semrush.com	CY

注：最多只显示10个 IP 地址

User-Agent

Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible; SiteAuditBot/0.97; +http://www.semrush.com/bot.html)

爬虫类别

营销

首次出现时间

2022-12-23 16:00:00

最后一次出现时间

2023-06-09 07:28:19

是否遵守 robots.txt 协议

不明

说明：

要阻止 SemrushBot 因不同的 SEO 和技术问题而抓取您的网站，可以使用如下写法：

User-agent: SiteAuditBot
Disallow: /

IP 地址总数

爬虫 IP 地址列表

#	IP 地址	Hostname	国家代码
1	85.208.98.200	72.siteaudit.bot.semrush.com	US
2	85.208.98.198	70.siteaudit.bot.semrush.com	US
3	85.208.98.197	69.siteaudit.bot.semrush.com	US
4	85.208.98.193	65.siteaudit.bot.semrush.com	US
5	85.208.98.199	71.siteaudit.bot.semrush.com	US
6	85.208.98.192	64.siteaudit.bot.semrush.com	US
7	85.208.98.195	67.siteaudit.bot.semrush.com	US
8	85.208.98.196	68.siteaudit.bot.semrush.com	US
9	85.208.98.201	73.siteaudit.bot.semrush.com	US
10	85.208.98.194	66.siteaudit.bot.semrush.com	US