Correction des URL non indexables dans Screaming Frog

Codes d'état d'indexabilité

Il existe quatre principaux codes d'état d'indexabilité : 2XX, 3XX, 4XX et 5XX.

Code 200: un moteur de recherche peut accéder avec succès à la page.
Code 301: la page a été définitivement déplacée vers un nouvel emplacement.
Code 302: la page a été temporairement déplacée vers un nouvel emplacement.
Code 404 : la page n'a pas pu être trouvée.
Code 500Le serveur a rencontré une erreur du client.

Ces codes sont essentiels pour comprendre comment un moteur de recherche interagit avec votre site web.

La compréhension de ces codes d'état d'indexabilité vous permet de mieux contrôler la façon dont screaming frog rencontre une erreur lors de l'analyse de votre site Web.

Codes d'état 200

Dans la plupart des cas, une balise no-index a été appliquée au site Web, ce qui lui confère un statut non indexable.

Si vous avez un site Web WordPress, vous pouvez vérifier Rég Réglages >> Lecture >> Visibilité dans les moteurs de recherche pour voir si la case a été cochée, ce qui fait que le site web est défini comme no-index.

Si cela ne résout pas votre problème, vous pouvez vérifier que chaque page n'a pas de balise no-index ; si vous utilisez le plugin Yoast, vous pouvez vérifier au niveau de la page sous Avancé >> Autoriser les moteurs de recherche à afficher cette page dans les résultats de recherche ?

Vous pouvez également vérifier votre fichier Robots.TXT, qui se trouve sur votre site web en allant sur le nom de domaine suivi de domain.com/robots.txt. Vous y trouverez un Disallow : / réglage.

Enfin, vous pouvez examiner les balises canoniques de votre page.

L'URL dans le navigateur et rel="balise canonique" doivent correspondre. S'ils sont incorrects (par exemple, Rel est réglé sur HTTP et la page web est réglée sur HTTPS), vous pouvez corriger l'URL canonique à l'aide de l'option Plugin Better Search 'n Replace ou dans le plugin Yoast.

Codes d'erreur 3XX

Lorsque vous voyez un code d'erreur 3XX, l'URL est redirigée. Vous devez corriger manuellement les redirections d'URL sur votre site Web ou utiliser un logiciel de gestion des URL. plugin. 3XX signifie que les moteurs de recherche ne peuvent indexer que la destination finale.

Codes d'erreur 404

Si vous rencontrez des erreurs 4XX, vous pouvez corriger les liens manuellement ou utiliser un plugin comme Redirection. Les erreurs 404 ne sont pas indexables car elles sont les "Page non trouvée" page d'avertissement.

Les erreurs 403 indiquent dans la plupart des cas qu'un site Web externe bloque votre robot d'exploration pour des raisons de sécurité et de sûreté.

Codes d'erreur 5XX

Le code d'erreur 5XX signifie qu'une erreur de serveur interne s'est produite. Cette erreur est généralement due au fait que Screaming Frog effectue un balayage trop rapide pour que le serveur puisse suivre et qu'il devient surchargé, manquant de ressources serveur (mémoire).

Pour corriger cette erreur, vous pouvez mettre à niveau le serveur de votre site Web ou ralentir la vitesse à laquelle le robot d'exploration balaie votre site.

Dans Screaming Frog, vous pouvez mettre à jour la vitesse d'exploration en allant à Configuration >> Vitesse >> Filetage maximum.