Comment identifier et corriger les URL non indexables dans Screaming Frog SEO Spider ?

Pour corriger les URL non indexables à l'aide de Screaming Frog SEO Spider, vous devez d'abord parcourir votre site pour identifier ces URL. Consultez la colonne "Statut d'indexabilité" pour savoir quelles sont les pages non indexables. Les facteurs de non-indexabilité peuvent inclure le contenu dupliqué, l'absence de réponse (erreurs 404) ou des balises méta telles que "nofollow". Pour résoudre ces problèmes, vérifiez les points suivants : Rendu HTML et JavaScript : Assurez-vous que les paramètres de l'agent utilisateur de Screaming Frog correspondent à ceux des robots de Google afin de simuler avec précision la manière dont votre site est exploré. Activez le rendu JavaScript si votre site en dépend pour la génération de contenu. Éléments de lien canonique : Vérifiez que les balises canoniques sont correctement mises en œuvre. Les pages non indexables en raison d'une canonicalisation incorrecte doivent avoir l'élément de lien canonique pointant vers l'URL correcte et indexable. Configuration des méta et des en-têtes : Examinez les métabalises et les réponses d'en-tête des pages non indexables. Supprimez les directives "nofollow" et corrigez les balises "noindex" mal configurées. Sitemap et Crawl Depth : Assurez-vous que votre sitemap XML est mis à jour et qu'il inclut toutes les URL indexables. Dans Screaming Frog, analysez la profondeur de crawl pour vous assurer que les pages importantes ne sont pas enfouies trop profondément pour que les moteurs de recherche puissent les trouver facilement. Duplicate Content et Alt Text : Réglez les problèmes de contenu dupliqué et veillez à ce que le texte alt soit utilisé correctement pour les images, ce qui peut affecter l'indexabilité. Validation et configuration dans Google Search Console : Une fois les modifications apportées, validez-les dans Google Search Console. Vous saurez ainsi comment Google perçoit votre site après la correction. Panneau de détails à droite dans Screaming Frog : Utilisez le panneau de détails de droite dans Screaming Frog pour inspecter des URL individuelles afin de détecter des erreurs ou des avertissements spécifiques liés à l'indexabilité. En tenant compte de ces éléments, vous pouvez améliorer l'indexabilité des URL de votre site et leur visibilité dans les résultats de recherche de Google.

Correction des URL non indexables dans Screaming Frog

Isaac Adams-Hands - Correction des URL non indexables dans Screaming Frog

La correction des URL non indexables dans Screaming Frog peut être un véritable casse-tête. Heureusement, il existe un moyen simple de le faire. Cet article de blog vous montrera comment les corriger en quelques minutes. Donc, si vous avez du mal à faire en sorte que vos URLs indexélisez la suite ! Nous vous montrerons comment les corriger dans Screaming Frog et faire en sorte que votre site Web soit mieux classé dans les résultats de recherche de Google.

Table des matières

Comment réparer les URL non indexables dans Screaming Frog ?
Codes d'état d'indexabilité
Codes d'état 200
Codes d'erreur 3XX
Codes d'erreur 404
Codes d'erreur 5XX
Conclusion
FAQ

Comment réparer les URL non indexables dans Screaming Frog ?

Codes d'état d'indexabilité
Il existe quatre principaux codes d'état d'indexabilité : 2XX, 3XX, 4XX et 5XX.

Code 200: un moteur de recherche peut accéder avec succès à la page.
Code 301: la page a été définitivement déplacée vers un nouvel emplacement.
Code 302: la page a été temporairement déplacée vers un nouvel emplacement.
Code 404 : la page n'a pas pu être trouvée.
Code 500Le serveur a rencontré une erreur du client.

Ces codes sont essentiels pour comprendre comment un moteur de recherche interagit avec votre site web.

La compréhension de ces codes d'état d'indexabilité vous permet de mieux contrôler la façon dont screaming frog rencontre une erreur lors de l'analyse de votre site Web.
Codes d'état 200
Dans la plupart des cas, une balise no-index a été appliquée au site Web, ce qui lui confère un statut non indexable.

Si vous avez un site Web WordPress, vous pouvez vérifier Rég Réglages >> Lecture >> Visibilité dans les moteurs de recherche pour voir si la case a été cochée, ce qui fait que le site web est défini comme no-index.

Si cela ne résout pas votre problème, vous pouvez vérifier que chaque page n'a pas de balise no-index ; si vous utilisez le plugin Yoast, vous pouvez vérifier au niveau de la page sous Avancé >> Autoriser les moteurs de recherche à afficher cette page dans les résultats de recherche ?

Vous pouvez également vérifier votre fichier Robots.TXT, qui se trouve sur votre site web en allant sur le nom de domaine suivi de domain.com/robots.txt. Vous y trouverez un Disallow : / réglage.

Enfin, vous pouvez examiner les balises canoniques de votre page.

L'URL dans le navigateur et rel="balise canonique" doivent correspondre. S'ils sont incorrects (par exemple, Rel est réglé sur HTTP et la page web est réglée sur HTTPS), vous pouvez corriger l'URL canonique à l'aide de l'option Plugin Better Search 'n Replace ou dans le plugin Yoast.
Codes d'erreur 3XX
Lorsque vous voyez un code d'erreur 3XX, l'URL est redirigée. Vous devez corriger manuellement les redirections d'URL sur votre site Web ou utiliser un logiciel de gestion des URL. plugin. 3XX signifie que les moteurs de recherche ne peuvent indexer que la destination finale.
Codes d'erreur 404
Si vous rencontrez des erreurs 4XX, vous pouvez corriger les liens manuellement ou utiliser un plugin comme Redirection. Les erreurs 404 ne sont pas indexables car elles sont les "Page non trouvée" page d'avertissement.

Les erreurs 403 indiquent dans la plupart des cas qu'un site Web externe bloque votre robot d'exploration pour des raisons de sécurité et de sûreté.
Codes d'erreur 5XX
Le code d'erreur 5XX signifie qu'une erreur de serveur interne s'est produite. Cette erreur est généralement due au fait que Screaming Frog effectue un balayage trop rapide pour que le serveur puisse suivre et qu'il devient surchargé, manquant de ressources serveur (mémoire).

Pour corriger cette erreur, vous pouvez mettre à niveau le serveur de votre site Web ou ralentir la vitesse à laquelle le robot d'exploration balaie votre site.

Dans Screaming Frog, vous pouvez mettre à jour la vitesse d'exploration en allant à Configuration >> Vitesse >> Filetage maximum.

Conclusion

En suivant notre guide sur la correction des pages non indexables ou des balises canoniques non indexables dans Screaming Frog, vous pouvez vous assurer que le plus grand nombre possible de personnes voient votre site Web. Vous améliorerez ainsi le classement de votre site dans les pages de résultats de recherche de Google et augmenterez les chances que des clients potentiels trouvent votre entreprise en ligne. Pour plus d'informations ou de tutoriels, vous pouvez visiter le site web de Screaming Frog ou faire appel à un expert en référencement qui s'occupera de ces aspects techniques du référencement pour vous.

FAQ

Comment identifier et corriger les URL non indexables dans Screaming Frog SEO Spider ?
Pour corriger les URL non indexables à l'aide de Screaming Frog SEO Spider, vous devez d'abord parcourir votre site pour identifier ces URL. Consultez la colonne "Statut d'indexabilité" pour savoir quelles sont les pages non indexables. Les facteurs de non-indexabilité peuvent inclure le contenu dupliqué, l'absence de réponse (erreurs 404) ou des balises méta telles que "nofollow". Pour résoudre ces problèmes, vérifiez les points suivants :
1. Rendu HTML et JavaScript : Assurez-vous que les paramètres de l'agent utilisateur de Screaming Frog correspondent à ceux des robots de Google afin de simuler avec précision la manière dont votre site est exploré. Activez le rendu JavaScript si votre site en dépend pour la génération de contenu.
2. Éléments de lien canonique : Vérifiez que les balises canoniques sont correctement mises en œuvre. Les pages non indexables en raison d'une canonicalisation incorrecte doivent avoir l'élément de lien canonique pointant vers l'URL correcte et indexable.
3. Configuration des méta et des en-têtes : Examinez les métabalises et les réponses d'en-tête des pages non indexables. Supprimez les directives "nofollow" et corrigez les balises "noindex" mal configurées.
4. Sitemap et Crawl Depth : Assurez-vous que votre sitemap XML est mis à jour et qu'il inclut toutes les URL indexables. Dans Screaming Frog, analysez la profondeur de crawl pour vous assurer que les pages importantes ne sont pas enfouies trop profondément pour que les moteurs de recherche puissent les trouver facilement.
5. Duplicate Content et Alt Text : Réglez les problèmes de contenu dupliqué et veillez à ce que le texte alt soit utilisé correctement pour les images, ce qui peut affecter l'indexabilité.
6. Validation et configuration dans Google Search Console : Une fois les modifications apportées, validez-les dans Google Search Console. Vous saurez ainsi comment Google perçoit votre site après la correction.
7. Panneau de détails à droite dans Screaming Frog : Utilisez le panneau de détails de droite dans Screaming Frog pour inspecter des URL individuelles afin de détecter des erreurs ou des avertissements spécifiques liés à l'indexabilité.
En tenant compte de ces éléments, vous pouvez améliorer l'indexabilité des URL de votre site et leur visibilité dans les résultats de recherche de Google.

Publié le : 2022-09-26
Mise à jour le : 2024-05-07

Isaac Adams-Hands

Isaac Adams-Hands est le directeur du référencement chez SEO North, une entreprise qui fournit des services d'optimisation des moteurs de recherche. En tant que professionnel du référencement, Isaac possède une expertise considérable en matière de référencement sur page, de référencement hors page et de référencement technique, ce qui lui donne une longueur d'avance sur la concurrence.