Pourquoi Screaming Frog n'explore-t-il pas toutes les URL ?

Screaming Frog (https://www.screamingfrog.co.uk) is an excellent tool for crawling websites and extracting data, but if it’s not crawling all URLs, you won’t be performing a quality technical SEO audit (auditing on-page meta descriptions, response codes, internal linking, checking duplicate contents, page titles, backlinks, alt texts, etc) on your e-commerce sites. In this blog post, we’ll examine why Screaming Frog isn’t crawling all URLs and how you can fix the issue. So, if you’re having trouble getting Screaming Frog to crawl all of your URLs, stay tuned! You’re in for a treat.

urls de grenouille hurlante ne rampant pas
Isaac Adams-Hands - Pourquoi Screaming Frog n'explore-t-il pas toutes les URL ?

Comment réparer le fait que Screaming Frog n'explore pas toutes les URLs ?

There are several reasons Screaming Frog may not crawl all subdomains on a site webLe plus courant est que le site Web a été configuré pour bloquer les robots d'exploration comme Screaming Frog.

  1. Le site est bloqué par robots.txt.

    respecter noindex

    Robots.txt peut bloquer Grenouille hurlante crawl pages. You can configure the SEO Spider to ignore robots.txt by going to Configuration >> Araignée >> Avancé >> Décochez Respect Noindex réglage.

    You can also change your Agent de l'utilisateur à GoogleBot to see if the website allows that crawl.

    Robots.txt is used to instruct web crawlers, or “bots,” on what they are allowed to access on a given website. When a bot tries to access a page that is specifically disallowed in the robots.txt file, it will receive a message that the webmaster does not want this page crawled. In some cases, this may be intentional. For example, a site owner may want to prevent bots from indexing sensitive information. In other cases, it may simply be due to an oversight. Regardless of the reason, a site that is blocked by robots.txt will be inaccessible to anyone who tries to crawl it.

  2. L'attribut "nofollow" est présent sur les liens qui ne sont pas explorés.

    liens en nofollow

    Les liens Nofollow font ce qu'ils sont censés faire, ils disent chenilles not to follow the links. If all links are set to nofollow on a page, then Screaming Frog has nowhere to go. To bypass this, you can set Screaming Frog to follow internal nofollow internal links.

    Vous pouvez mettre à jour cette option dans Configuration >> Araignée en vertu de la Onglet "Crawl by clicking on Suivi interne "nofollow". liens.

  3. La page possède un attribut "nofollow" au niveau de la page.

    respecter noindex

    Le site attribut nofollow au niveau de la page is set by either a meta robots tag or an X-Robots-Tag in the HTTP header. These can be seen in the “Directives” tab in the “Nofollow” filter. The page-level nofollow attribute is used to prevent search engines from following the links on a page.

    This is useful for pages that contain links to unreliable or unimportant sources. By setting the nofollow attribute, you are telling search engines that they should not follow the links on the page. This will help to improve your site’s search engine rankings but stop you from crawling the website.

    Pour ignorer les balises Noindex, vous devez vous rendre à l'adresse suivante Configuration >> Araignée >> Avancé >> Décochez le site Respecter noindex réglage.

  4. L'agent utilisateur est bloqué.

    configuration des agents utilisateurs

    Le site User-Agent est une chaîne de texte qui est envoyée par votre navigateur au site Web que vous visitez. L'agent utilisateur peut fournir des informations sur votre navigateur, votre système d'exploitation et même votre appareil. Sur la base de ces informations, le site web peut modifier la façon dont il se comporte. Par exemple, si vous visitez un site web en utilisant un appareil mobile, le site web peut vous rediriger vers une version du site adaptée aux mobiles. Par ailleurs, si vous modifiez l'User-Agent pour vous faire passer pour un autre navigateur, vous pourrez accéder à des fonctionnalités qui ne sont pas disponibles dans votre navigateur réel. De même, Certains sites peuvent bloquer complètement certains navigateurs.. En modifiant l'agent utilisateur, vous pouvez changer la façon dont un site se comporte, ce qui vous donne un plus grand contrôle sur votre expérience de navigation.

    Vous pouvez modifier l'agent utilisateur sous Configuration >> User-Agent.

  5. Le site nécessite JavaScript.

    rendu javascript de la grenouille hurlante

    JavaScript is a programming language that is commonly used to create interactive web pages. When JavaScript is enabled, it can run automatically when a page is loaded, making it possible for items on the page to change without the need to refresh the entire page. For example, JavaScript can be used to create drop-down menus, display images based on user input, and much more. While JavaScript can be beneficial, some users prefer to disable it in their browser for various reasons. One reason is that JavaScript can be used to track a user’s browsing activity. However, disabling JavaScript can also lead to issues with how a website is displayed or how certain features work.

    Essayez activer le rendu javascript au sein de Screaming Frog sous Configuration >> Araignée >> Rendering.

  6. Le site nécessite des cookies.

    stockage des cookies

    Pouvez-vous consulter le site avec des cookies désactivés dans votre navigateur ? Les utilisateurs autorisés peuvent activer les cookies en allant sur Configuration >> Sp Sp Sp Sp Sp pour la configuration de l'espace de configuration et en sélectionnant Session uniquement sous Stockage des cookies dans le Onglet Avancé.

  7. Le site web utilise des framesets.

    cadres mixtes

    Le SEO Spider n'explore pas l'attribut frame-src.

  8. L'en-tête Content-Type n'indiquait pas que la page était en HTML.

    type de contenu non valide

    Il est indiqué dans la colonne Contenu et doit être soit text/HTML soit application/xhtml+xml.

Conclusion

The Screaming Frog SEO spider can be an excellent tool for auditing your website, but it’s vital to ensure that all URLs are crawled. If you’re not getting the complete data that you need from your audits, there may be an issue with how Screaming Frog is configured. This blog post looked at why Grenouille hurlante might not be crawling all your URLs and how to fix the problem. By fixing these issues, you’ll be able to get more comprehensive data from your Screaming Frog audits and improve your SEO strategy. Have you tried using Screaming Frog for your website audits? What tips do you have for improving its functionality?

FAQ

  • Pourquoi Screaming Frog n'explore-t-il pas toutes les URL ?

Publié le : 2022-06-07
Updated on: 2024-04-05

Avatar pour Isaac Adams-Hands

Isaac Adams-Hands

Isaac Adams-Hands est le directeur du référencement chez SEO North, une entreprise qui fournit des services d'optimisation des moteurs de recherche. En tant que professionnel du référencement, Isaac possède une expertise considérable en matière de référencement sur page, de référencement hors page et de référencement technique, ce qui lui donne une longueur d'avance sur la concurrence.
fr_FRFrench
en_CAEnglish pt_BRPortuguese jaJapanese es_ESSpanish zh_CNChinese fr_FRFrench