Comment bloquer le robot SEMRush

SEMRush est un outil puissant qui vous permet de voir les performances de votre site Web en termes de trafic et de mots clés. Cependant, SEMRush peut aussi être une plaie pour les propriétaires de sites Web, car il peut envoyer des robots qui explorent votre site et génèrent beaucoup de trafic. Cela peut rapidement consommer votre bande passante et ralentir votre site.

Heureusement, il existe quelques moyens de bloquer les robots de semrush, énumérés ci-dessous.

Comment bloquer l'accès de votre site Web au robot SEMRush ?

Si vous avez vu beaucoup de trafic étrange venant de semrush.com, vous voudrez peut-être bloquer le bot de semrush. Voici comment faire bloquer le crawler de SEMRush. Cela vous permettra de préserver votre site web de tout accès non autorisé.

Comment trouver et modifier votre fichier robots.txt

Le fichier robots.txt est situé dans le répertoire racine de votre site web et peut être modifié à l'aide d'un éditeur de texte tel que CyberDuck. Pour modifier le fichier, ouvrez-le dans votre éditeur de texte et apportez les changements nécessaires. Veillez à enregistrer le fichier après toute modification et à le télécharger sur votre serveur si nécessaire. Avec quelques modifications simples, vous pouvez contrôler la façon dont les robots des moteurs de recherche indexent votre site Web et vous assurer que seules les pages que vous souhaitez voir indexées sont incluses dans les résultats de recherche.

Avec WordPress, vous pouvez créer et modifier le fichier robots.txt à l'aide de la commande Plugin Yoast. Dans WordPress, vous cliquez sur Yoast SEO >> Outils >> Éditeur de fichiers >> robots.txt

* Si vous n'avez pas de fichier robots.txt, vous pouvez en générer un ici.

* Vous devez placer un fichier robots.txt sur chaque sous-domaine si vous avez des sous-domaines.

Comment demander à SEMRushBot de ralentir l'exploration de votre site Web ?

Ce code ajouté à votre fichier Robots.txt indique au robot d'explorer une URL toutes les minutes.

Agent utilisateur : SemrushBot
Délai d'exploration : 60

Comment bloquer certains robots d'exploration de SEMRush ?

Pour empêcher SemrushBot d'explorer votre site à partir de la page d'accueil du site. Audit technique SEO:

Agent utilisateur : SiteAuditBot
Disallow : /

Pour empêcher SemrushBot d'explorer votre site pour le motif Outil d'audit des liens retour:

Agent utilisateur : SemrushBot-BA
Disallow : /

Pour empêcher SemrushBot d'explorer votre site pour le motif Référencement sur page Outil de vérification et d'autres outils similaires :

Agent utilisateur : SemrushBot-SI
Disallow : /

Pour empêcher SemrushBot de vérifier les URL de votre site pour l'indice Outil SWA:

Agent utilisateur : SemrushBot-SWA
Désapprouver : /

Pour empêcher SemrushBot d'explorer votre site à la recherche de Contenu Analyseur et Outils de suivi des postes:

Agent utilisateur : SemrushBot-CT
Disallow : /

Pour empêcher SemrushBot d'explorer votre site à la recherche de Surveillance de la marque:

Agent utilisateur : SemrushBot-BM
Disallow : /

Pour empêcher SplitSignalBot d'explorer votre site à la recherche du Outil SplitSignal:

Agent utilisateur : SplitSignalBot
Disallow : /

Pour bloquer l'exploration de votre site par SemrushBot-COUB dans le cadre du programme Outil de création d'un plan de contenu:

Agent utilisateur : SemrushBot-COUB
Disallow : /

Conclusion

Maintenant que vous avez compris comment bloquer le SEMRush Bot et que vous disposez de quelques conseils pour améliorer le référencement de votre site Web, il est temps de les mettre en pratique. Engagez un référencement professionnel peut vous aider à faire passer votre site web au niveau supérieur et à améliorer votre présence en ligne. Êtes-vous prêt à commencer ?

FAQ

Publié le : 2022-08-20
Mise à jour le : 2024-09-16

Isaac Adams-Hands

Isaac Adams-Hands est le directeur du référencement chez SEO North, une entreprise qui fournit des services d'optimisation des moteurs de recherche. En tant que professionnel du référencement, Isaac possède une expertise considérable en matière de référencement sur page, de référencement hors page et de référencement technique, ce qui lui donne une longueur d'avance sur la concurrence.