SEMRush是一个强大的工具，让你看到你的网站在流量和关键词方面的表现。然而，SEMRush对网站所有者来说也是一种痛苦，因为它可以发出机器人来抓取你的网站并产生大量的流量。这可能会迅速吞噬你的带宽并减慢你的网站。
幸运的是，有几种方法可以阻止semrush机器人，如下所示。
目录
如何阻止SEMRush机器人进入你的网站
If you’ve seen a lot of strange traffic coming from semrush.com, you may want to block the semrush bot. Here’s how to block the SEMRush crawler. This will help keep your website safe and secure from unauthorized access.
使用Robots.TXT来阻止SEMRush机器人
将下面的代码添加到你的 Robots.txt 文件。这个文件告诉搜索引擎不要索引你网站的某些部分，你可以用它来排除semrush机器人对你网站的抓取。
用户-代理。SemrushBot 不允许。/下载一个 机器人.TXT模板 这将阻止SEMRush机器人。
测试SEMRush机器人块
在向你的Robots.TXT文件添加禁止信息后，确保该过程正确完成总是一个好主意。
你可以通过进入你的网站并在URL上添加/robots.txt来测试。
例如， example.com/robots.txt
如何找到并编辑你的 robots.txt 文件
robots.txt文件位于你网站的根目录下，可以使用文本编辑器进行编辑，如 网络鸭.要编辑该文件，在你的文本编辑器中打开它，并进行必要的修改。在做完任何修改后，一定要保存该文件，如果有必要，将其上传到你的服务器。通过一些简单的编辑，你可以控制搜索引擎机器人如何索引你的网站，并确保只有你想被索引的网页才被包括在搜索结果中。
使用WordPress，你可以用以下方法创建和编辑 robots.txt 文件。 Yoast插件.在WordPress中，你点击 Yoast SEO >> 工具 >> 文件编辑器 >> robots.txt
* 如果你没有 robots.txt 文件，你可以 在此生成一个.
* 如果你有子域，你必须在每个子域上放置一个 robots.txt 文件。
如何告诉SEMRushBot放慢对您网站的抓取速度
这个代码添加到你的Robots.txt文件中，告诉机器人每分钟抓取一个URL。
用户-代理。SemrushBot
抓取延迟。60
如何阻止特定的SEMRush爬虫
要阻止SemrushBot从以下方面抓取您的网站 SEO技术审计:
用户-代理。SiteAuditBot
不允许。/要阻止SemrushBot在您的网站上抓取的 反向链接审计工具:
用户-代理。SemrushBot-BA
不允许。/要阻止SemrushBot在您的网站上抓取的 网页搜索引擎优化 检查器工具 和类似的工具。
用户-代理。SemrushBot-SI
不允许。/要阻止SemrushBot在你的网站上检查URLs，以获得 SWA工具:
用户-代理。SemrushBot-SWA
不允许。/要阻止SemrushBot抓取您的网站，以获得 内容 分析师 和 帖子追踪工具:
用户-代理。SemrushBot-CT
不允许。/要阻止SemrushBot抓取您的网站，以获得 品牌监测:
用户-代理。SemrushBot-BM
不允许。/要阻止SplitSignalBot抓取你的网站，以获得 SplitSignal工具:
用户-代理。SplitSignalBot
不允许。/要阻止SemrushBot-COUB抓取您的网站，以获得 内容大纲生成器工具:
用户-代理。SemrushBot-COUB
不允许。/总结
现在你了解了如何阻止SEMRush机器人，并掌握了一些改善网站SEO的技巧，现在是时候将它们付诸实践了。雇用一个 专业的SEO 机构可以帮助将你的网站提升到一个新的水平，并改善你的在线形象。你准备好开始了吗？
常见问题
什么是SEMrush机器人？
为什么SEMRush机器人会抓取您的网站？
SemrushBot对收集的数据有什么用途？
SEMRush多久检查一次您的Robots.txt文件？
SEMRush使用什么机器人来抓取？
发表于：2022-08-20
更新日期: 2022-11-15
Chinese 
English 
Portuguese 
Japanese 
French 
Spanish