It can be very frustrating when you’re trying to crawl a website and suddenly see the timeout or 403 Forbidden error message. What do you do when you encounter the most common on-page messages on your screen: HTTP status code errors, bad requests, internal server errors, or HTTP response “no response” errors? How can you fix it? In this blog post, we’ll explain the 403 Forbidden error and provide some solutions to fix it. Stay tuned!
Table des matières
- Qu'est-ce qu'une erreur 403 Forbidden ?
- Comment réparer l'erreur de code d'état interdit 403 dans Screaming Frog ?
- La page ne sort pas
- Authentification requise
- Le serveur vous bloque
- Réduction de la vitesse de rampement
- Modifier l'agent utilisateur
- Changez votre IP
- Mettez votre IP sur une liste blanche
- Conclusion
- FAQ
Qu'est-ce qu'une erreur 403 Forbidden ?
Le code d'état 403 Forbidden est une erreur côté serveur qui indique que le fichier serveur refuses to fulfill the request. This can be due to several reasons, including but not limited to: the request is being made for a resource that does not exist, the user does not have sufficient permissions to access the requested resource or the server is configured to bloc requests from the user’s IP address.
Quelle qu'en soit la raison, une erreur 403 Forbidden empêchera l'utilisateur d'accéder à l'information demandée. ressource. Dans certains cas, le serveur peut fournir une redirection vers une autre page ou ressource accessible ; dans d'autres cas, l'utilisateur devra contacter le propriétaire ou l'administrateur du site web pour résoudre le problème. Quoi qu'il en soit, une erreur 403 Forbidden est une source de frustration pour tous les utilisateurs de sites web. utilisateur qui la rencontre.
Comment réparer l'erreur de code d'état interdit 403 dans Screaming Frog ?
La page ne sort pas
Plausible cause 1: The request is being made for a resource that does not exist
Vous devrez vérifier que la page Web existe. Vous pouvez le faire en ouvrant l'URL dans votre navigateur.
Ce test vous montrera si la page web est accessible à partir du navigateur.
Authentification requise
Plausible cause 2: The user does not have sufficient permissions to access the requested resource.
Dans certains cas, la page est protégée par un mot de passe. Vous devrez saisir le nom d'utilisateur et le mot de passe dans la fenêtre modale de Screaming Frog pour qu'elle puisse explorer cette page.
Le serveur vous bloque
Plausible cause 3: The server is configured to block requests from the user’s Adresse IP.
Si la page Web peut être affichée sur votre ordinateur à l'aide d'un navigateur, cela signifie que le site Web bloque le robot (crawler) et qu'il s'agit d'un événement isolé.
Réduction de la vitesse de rampement
Solution 1 : L'araignée est peut-être configurée pour ramper trop vite et trop agressivement.
Pour remédier aux analyses agressives, vous devez réduire le taux d'exploration :
Configuration >> Vitesse >> Spider Speed Configuration
En réduisant votre taux d'exploration, vous augmenterez le temps nécessaire à l'exécution des analyses et réduirez la charge des ressources du serveur.
Modifier l'agent utilisateur
Solution 2 : Si le site Web bloque le Screaming Frog Crawler, modifiez le paramètre User-Agent dans Screaming Frog.
Configuration >> User-Agent >> Present User-Agents
Certains serveurs sont configurés pour bloquer tout ce qui n'est pas un GoogleBot.
Changez votre IP
Solution 3 : Changez votre adresse IP
Le serveur peut bloquer votre adresse IP, il est donc préférable d'essayer le crawl à partir d'un autre fournisseur de services Internet.
Si vous êtes au travail et que vous souhaitez changer d'adresse IP, essayez de le faire depuis chez vous. Si vous êtes à la maison, essayez un café avec une bonne connexion Internet. Si vous ne pouvez pas partir, essayez de connecter votre ordinateur à votre téléphone. En changeant d'endroit, vous pourrez déterminer si votre adresse IP est bloquée.
Mettez votre IP sur une liste blanche
Solution 4 : Mettre votre adresse IP sur la liste blanche du serveur ou du site web.
Dans la mesure du possible, vous pouvez mettre votre adresse IP sur une liste blanche auprès du site web, du serveur ou du serveur DNS.
Les options sont infinies, mais quelques services de sécurité bloquant votre crawl pourraient l'être : Wordfence, CloudFlareet Fail2Ban; si vous n'êtes pas au courant de l'existence d'un logiciel de sécurité En cours d'exécution, il est préférable de consulter votre service informatique.
Conclusion
Encountering a 403 Forbidden error while using Screaming Frog SEO Spider can be a frustrating hurdle in the pursuit of optimizing a website’s performance.
However, armed with an understanding of its causes and solutions, one can effectively navigate through this issue. By addressing potential factors such as non-existent pages, authentication requirements, server restrictions, and ramper speed, users can troubleshoot and resolve this error efficiently.
Additionally, implementing strategies like changing User-Agent, IP address, or whitelisting can further mitigate such obstacles. By leveraging the functionalities within Screaming Frog, users can enhance their technical SEO endeavors, ensuring smoother crawling experiences and facilitating the optimization process.
Remember to verify internal configurations, check robots.txt files, address broken links, and utilize meta tags like canonical and nofollow to bolster search engine visibility. By staying informed and proactive in managing client errors like the 403 Forbidden status code, webmasters can navigate through technical challenges, fostering a more optimized and seamlessly accessible online presence.
For more detailed guidance on addressing technical SEO issues, explore the resources available on screamingfrog.co.uk and utilize tools such as the Response Codes tab within the Screaming Frog interface. With diligence and strategic implementation of solutions, users can overcome hurdles and propel their websites toward greater visibility and success in the digital landscape.
Don’t hesitate to contact us if you still have trouble fixing the 403 Forbidden error. We’ll be more than happy to help out!
FAQ
Combien de personnes peuvent utiliser la licence Grenouille Hurlante ?
Publié le : 2022-09-01
Updated on: 2024-04-10
French 
English 
Portuguese 
Japanese 
Spanish 
Chinese