Como bloquear a SEMRush Bot

SEMRush é uma ferramenta poderosa que lhe permite ver como seu website funciona no tráfego e nas palavras-chave. No entanto, a SEMRush também pode ser uma dor para os proprietários de websites, pois pode enviar bots que rastejam seu site e geram muito tráfego. Isto pode rapidamente consumir sua largura de banda e diminuir a velocidade de seu site.

semrush

Felizmente, existem algumas maneiras de bloquear os semrush bots listados abaixo.

Como bloquear a SEMRush Bot de seu site

Se você tem visto muito tráfego estranho vindo do site semrush.com, talvez queira bloquear o bot da semrush. Veja como fazer isso bloquear o rastreador da SEMRush. Isso ajudará a manter seu site seguro e protegido contra acesso não autorizado.

  1. Use Robots.TXT para bloquear a SEMRush Bot

    Use Robots.TXT para bloquear a SEMRush Bot

    Adicione o código abaixo ao seu Robots.txt arquivo. Este arquivo diz aos motores de busca para não indexar certas partes de seu site, e você pode usá-lo para excluir o semrush bot de rastrear seu site.

    Agente-usuário: SemrushBot
    Não é permitido: /

    Baixar um Modelo Robots.TXT que irá bloquear a SEMRush Bot.

  2. Teste o bloco de garrafas da SEMRush

    arquivo robots-txt

    Depois de adicionar as informações de não aceitação ao seu arquivo Robots.TXT, é sempre uma boa idéia garantir que o processo foi feito corretamente.

    Você pode testar isto indo ao seu website e adicionando /robots.txt ao URL.

    por exemplo, exemplo.com/robots.txt

Como encontrar e editar seu arquivo robots.txt

O arquivo robots.txt está localizado no diretório raiz de seu website, e pode ser editado usando um editor de texto como CyberDuck. Para editar o arquivo, abra-o em seu editor de texto e faça as alterações necessárias. Certifique-se de salvar o arquivo após fazer quaisquer alterações, e carregue-o em seu servidor, se necessário. Com algumas edições simples, você pode controlar como os motores de busca indexam seu website e garantir que somente as páginas que você deseja indexar sejam incluídas nos resultados da busca.

Usando o WordPress, você pode criar e editar o arquivo robots.txt usando o Plugin de levedura. Em WordPress, você clica em Yoast SEO >> Ferramentas >> Editor de arquivos >> robots.txt

* Se você não tiver um arquivo robots.txt, você pode gerar um aqui.

* Você deve colocar um arquivo robots.txt em cada subdomínio se você tiver subdomínios.

Como dizer à SEMRushBot para desacelerar o rastejamento de seu website

Este código adicionado ao seu arquivo Robots.txt diz ao bot para rastrear uma URL a cada minuto.

Agente-usuário: SemrushBot
Atraso de rastejamento: 60
SEMRush Bot

Como bloquear os rastejadores SEMRush específicos

Para bloquear o SemrushBot de rastrear seu site a partir do Auditoria Técnica SEO:

Agente-usuário: SiteAuditBot
Não é permitido: /

Para bloquear o SemrushBot de rastrear seu site para o Ferramenta de auditoria de backklink:

Agente-usuário: SemrushBot-BA
Não é permitido: /

Para bloquear o SemrushBot de rastrear seu site para o SEO On-Page Ferramenta Checker e ferramentas similares:

Agente-usuário: SemrushBot-SI
Não é permitido: /

Para bloquear o SemrushBot de verificar URLs em seu site para o Ferramenta SWA:

Agente-usuário: SemrushBot-SWA
Não é permitido: /

Para bloquear o SemrushBot de rastrear seu site para Conteúdo Analisador e Ferramentas Post Tracking:

Agente-usuário: SemrushBot-CT
Não é permitido: /

Para bloquear o SemrushBot de rastrear seu site para Monitoramento da marca:

Agente-usuário: SemrushBot-BM
Não é permitido: /

Para bloquear o SplitSignalBot de rastrear seu site para o Ferramenta SplitSignal:

Agente-usuário: SplitSignalBot
Não é permitido: /

Para bloquear o SemrushBot-COUB de rastrear seu site para o Ferramenta Construtor de Esboço de Conteúdo:

Agente-usuário: SemrushBot-COUB
Não é permitido: /

Conclusão

Agora que você entendeu como bloquear a SEMRush Bot e tem algumas dicas para melhorar seu site SEO, é hora de colocá-las em prática. Contratando um SEO profissional pode ajudar a levar seu site ao próximo nível e melhorar sua presença on-line. Você está pronto para começar?

Perguntas frequentes

  • O que é a SEMrush Bot?
  • Por que a SEMRush Bot rasteja seu website?
  • O que a SemrushBot utiliza com os dados coletados?
  • Com que freqüência a SEMRush verifica seu arquivo Robots.txt?
  • Que bot a SEMRush usa para rastejar?

Publicado em: 2022-08-20
Atualizado em: 2024-09-16

Avatar para Isaac Adams-Hands

Isaac Adams-Hands

Isaac Adams-Hands é o Diretor de SEO da SEO North, uma empresa que presta serviços de Search Engine Optimization. Como profissional de SEO, Isaac tem uma experiência considerável em SEO On-page, SEO Off-page e SEO Técnico, o que lhe dá uma vantagem contra a concorrência.
pt_BRPortuguese