SEMRush é uma ferramenta poderosa que lhe permite ver como seu website funciona no tráfego e nas palavras-chave. No entanto, a SEMRush também pode ser uma dor para os proprietários de websites, pois pode enviar bots que rastejam seu site e geram muito tráfego. Isto pode rapidamente consumir sua largura de banda e diminuir a velocidade de seu site.
Felizmente, existem algumas maneiras de bloquear os semrush bots listados abaixo.
Tabela de Conteúdos
Como bloquear a SEMRush Bot de seu site
Se você tem visto muito tráfego estranho vindo do site semrush.com, talvez queira bloquear o bot da semrush. Veja como fazer isso bloquear o rastreador da SEMRush. Isso ajudará a manter seu site seguro e protegido contra acesso não autorizado.
Use Robots.TXT para bloquear a SEMRush Bot
Adicione o código abaixo ao seu Robots.txt arquivo. Este arquivo diz aos motores de busca para não indexar certas partes de seu site, e você pode usá-lo para excluir o semrush bot de rastrear seu site.
Agente-usuário: SemrushBot Não é permitido: /
Baixar um Modelo Robots.TXT que irá bloquear a SEMRush Bot.
Teste o bloco de garrafas da SEMRush
Depois de adicionar as informações de não aceitação ao seu arquivo Robots.TXT, é sempre uma boa idéia garantir que o processo foi feito corretamente.
Você pode testar isto indo ao seu website e adicionando /robots.txt ao URL.
por exemplo, exemplo.com/robots.txt
Como encontrar e editar seu arquivo robots.txt
O arquivo robots.txt está localizado no diretório raiz de seu website, e pode ser editado usando um editor de texto como CyberDuck. Para editar o arquivo, abra-o em seu editor de texto e faça as alterações necessárias. Certifique-se de salvar o arquivo após fazer quaisquer alterações, e carregue-o em seu servidor, se necessário. Com algumas edições simples, você pode controlar como os motores de busca indexam seu website e garantir que somente as páginas que você deseja indexar sejam incluídas nos resultados da busca.
Usando o WordPress, você pode criar e editar o arquivo robots.txt usando o Plugin de levedura. Em WordPress, você clica em Yoast SEO >> Ferramentas >> Editor de arquivos >> robots.txt
* Se você não tiver um arquivo robots.txt, você pode gerar um aqui.
* Você deve colocar um arquivo robots.txt em cada subdomínio se você tiver subdomínios.
Como dizer à SEMRushBot para desacelerar o rastejamento de seu website
Este código adicionado ao seu arquivo Robots.txt diz ao bot para rastrear uma URL a cada minuto.
Agente-usuário: SemrushBot
Atraso de rastejamento: 60
Como bloquear os rastejadores SEMRush específicos
Para bloquear o SemrushBot de rastrear seu site a partir do Auditoria Técnica SEO:
Agente-usuário: SiteAuditBot
Não é permitido: /
Para bloquear o SemrushBot de rastrear seu site para o Ferramenta de auditoria de backklink:
Agente-usuário: SemrushBot-BA
Não é permitido: /
Para bloquear o SemrushBot de rastrear seu site para o SEO On-Page Ferramenta Checker e ferramentas similares:
Agente-usuário: SemrushBot-SI
Não é permitido: /
Para bloquear o SemrushBot de verificar URLs em seu site para o Ferramenta SWA:
Agente-usuário: SemrushBot-SWA
Não é permitido: /
Para bloquear o SemrushBot de rastrear seu site para Conteúdo Analisador e Ferramentas Post Tracking:
Agente-usuário: SemrushBot-CT
Não é permitido: /
Para bloquear o SemrushBot de rastrear seu site para Monitoramento da marca:
Agente-usuário: SemrushBot-BM
Não é permitido: /
Para bloquear o SplitSignalBot de rastrear seu site para o Ferramenta SplitSignal:
Agente-usuário: SplitSignalBot
Não é permitido: /
Para bloquear o SemrushBot-COUB de rastrear seu site para o Ferramenta Construtor de Esboço de Conteúdo:
Agente-usuário: SemrushBot-COUB
Não é permitido: /
Conclusão
Agora que você entendeu como bloquear a SEMRush Bot e tem algumas dicas para melhorar seu site SEO, é hora de colocá-las em prática. Contratando um SEO profissional pode ajudar a levar seu site ao próximo nível e melhorar sua presença on-line. Você está pronto para começar?
Perguntas frequentes
O que é a SEMrush Bot?
Por que a SEMRush Bot rasteja seu website?
O que a SemrushBot utiliza com os dados coletados?
Com que freqüência a SEMRush verifica seu arquivo Robots.txt?
Que bot a SEMRush usa para rastejar?
Publicado em: 2022-08-20
Atualizado em: 2024-09-16