SEMRush是一个强大的工具，让你看到你的网站在流量和关键词方面的表现。然而，SEMRush对网站所有者来说也是一种痛苦，因为它可以发出机器人来抓取你的网站并产生大量的流量。这可能会迅速吞噬你的带宽并减慢你的网站。
幸运的是，有几种方法可以阻止semrush机器人，如下所示。
目录
如何阻止SEMRush机器人进入你的网站
如果您发现有大量奇怪的流量来自 semrush.com，您可能需要阻止 semrush 机器人。下面介绍如何 阻止 SEMRush 爬虫.这将有助于确保您的网站安全，防止未经授权的访问。
使用Robots.TXT来阻止SEMRush机器人
将下面的代码添加到你的 Robots.txt 文件。这个文件告诉搜索引擎不要索引你网站的某些部分，你可以用它来排除semrush机器人对你网站的抓取。
用户-代理。SemrushBot 不允许。/下载一个 机器人.TXT模板 这将阻止SEMRush机器人。
测试SEMRush机器人块
在向你的Robots.TXT文件添加禁止信息后，确保该过程正确完成总是一个好主意。
你可以通过进入你的网站并在URL上添加/robots.txt来测试。
例如， example.com/robots.txt
如何找到并编辑你的 robots.txt 文件
robots.txt文件位于你网站的根目录下，可以使用文本编辑器进行编辑，如 网络鸭.要编辑该文件，在你的文本编辑器中打开它，并进行必要的修改。在做完任何修改后，一定要保存该文件，如果有必要，将其上传到你的服务器。通过一些简单的编辑，你可以控制搜索引擎机器人如何索引你的网站，并确保只有你想被索引的网页才被包括在搜索结果中。
使用WordPress，你可以用以下方法创建和编辑 robots.txt 文件。 Yoast插件.在WordPress中，你点击 Yoast SEO >> 工具 >> 文件编辑器 >> robots.txt
* 如果你没有 robots.txt 文件，你可以 在此生成一个.
* 如果你有子域，你必须在每个子域上放置一个 robots.txt 文件。
如何告诉SEMRushBot放慢对您网站的抓取速度
这个代码添加到你的Robots.txt文件中，告诉机器人每分钟抓取一个URL。
用户-代理。SemrushBot
抓取延迟。60
如何阻止特定的SEMRush爬虫
要阻止SemrushBot从以下方面抓取您的网站 SEO技术审计:
用户-代理。SiteAuditBot
不允许。/要阻止SemrushBot在您的网站上抓取的 反向链接审计工具:
用户-代理。SemrushBot-BA
不允许。/要阻止SemrushBot在您的网站上抓取的 网页搜索引擎优化 检查器工具 和类似的工具。
用户-代理。SemrushBot-SI
不允许。/要阻止SemrushBot在你的网站上检查URLs，以获得 SWA工具:
用户-代理。SemrushBot-SWA
不允许。/要阻止SemrushBot抓取您的网站，以获得 内容 分析师 和 帖子追踪工具:
用户-代理。SemrushBot-CT
不允许。/要阻止SemrushBot抓取您的网站，以获得 品牌监测:
用户-代理。SemrushBot-BM
不允许。/要阻止SplitSignalBot抓取你的网站，以获得 SplitSignal工具:
用户-代理。SplitSignalBot
不允许。/要阻止SemrushBot-COUB抓取您的网站，以获得 内容大纲生成器工具:
用户-代理。SemrushBot-COUB
不允许。/总结
现在你了解了如何阻止SEMRush机器人，并掌握了一些改善网站SEO的技巧，现在是时候将它们付诸实践了。雇用一个 专业的SEO 机构可以帮助将你的网站提升到一个新的水平，并改善你的在线形象。你准备好开始了吗？
常见问题
什么是SEMrush机器人？
为什么SEMRush机器人会抓取您的网站？
SemrushBot对收集的数据有什么用途？
SEMRush多久检查一次您的Robots.txt文件？
SEMRush使用什么机器人来抓取？
发表于：2022-08-20
更新日期: 2022-11-15
Chinese 
English 
Portuguese 
Japanese 
French 
Spanish