It can be very frustrating when you’re trying to crawl a website and suddenly see the timeout or 403 Forbidden error message. What do you do when you encounter the most common on-page messages on your screen: HTTP status code errors, bad requests, internal server errors, or HTTP response “no response” errors? How can you fix it? In this blog post, we’ll explain the 403 Forbidden error and provide some solutions to fix it. Stay tuned!
Tabela de Conteúdos
O que é um 403 Erro Proibido?
O código de status 403 Proibido é um erro do lado do servidor indicando que o servidor refuses to fulfill the request. This can be due to several reasons, including but not limited to: the request is being made for a resource that does not exist, the user does not have sufficient permissions to access the requested resource or the server is configured to bloco requests from the user’s IP address.
Independentemente do motivo, um erro 403 Proibido impedirá o usuário de acessar o recurso. Em alguns casos, o servidor pode fornecer um redirecionamento para outra página ou recurso que possa ser acessado; em outros casos, o usuário precisará entrar em contato com o proprietário ou administrador do site para resolver o problema. De qualquer forma, um erro 403 Proibido frustra qualquer usuário que a encontra.
Como corrigir o erro do código de status 403 proibido no Screaming Frog
A página não sai
Plausible cause 1: The request is being made for a resource that does not exist
Você precisará verificar se a página web existe. Você pode fazer isso abrindo a URL em seu navegador.
Este teste lhe mostrará se a página web pode ser acessada pelo navegador.
Autenticação Requerida
Plausible cause 2: The user does not have sufficient permissions to access the requested resource.
Em alguns casos, a página é protegida por senha. Você precisará terminar o nome de usuário e a senha no popup do modal Screaming Frog para que ele possa rastejar aquela página.
O Servidor está bloqueando você
Plausible cause 3: The server is configured to block requests from the user’s Endereço IP.
Se a página web for visualizada em seu computador usando um navegador, isto significa que o site está bloqueando o bot (crawler) e é um evento isolado.
Menor velocidade de rastreamento
Solução 1: Você pode ter a configuração de aranha para rastejar muito rápido e agressivamente.
Para consertar varreduras agressivas, será necessário baixar a taxa de rastejamento:
Configuração >> Velocidade >> Spider Speed Configuration
Diminuir sua taxa de rastreamento aumentará o tempo necessário para realizar varreduras e reduzirá a carga de recursos do servidor.
Mudar o Agente-usuário
Solução 2: Se o site estiver bloqueando o Rastejador de Rã Gritante, mude o Agente-usuário em Screaming Frog.
Configuração >> Agente-usuário >> Present User-Agents
Alguns servidores são configurados para bloquear qualquer coisa, exceto um GoogleBot.
Mude seu IP
Solução 3: Altere seu endereço IP
O servidor pode estar bloqueando seu endereço IP, portanto é melhor tentar o rastejamento de um provedor de serviços de Internet diferente.
Experimente o rastejamento de casa se você estiver no trabalho e quiser mudar seu endereço IP. Se você estiver em casa, experimente uma cafeteria com boa internet. Se você não puder sair, tente amarrar seu computador ao telefone. Mudar de local ajudará você a solucionar problemas e determinar se seu IP está bloqueado.
Faça uma lista branca de seu IP
Solução 4: Faça uma lista branca de seu endereço IP no Servidor ou Website
Você pode fazer uma lista branca de seu endereço IP com o site, servidor ou servidor DNS sempre que possível.
As opções são infinitas, mas alguns serviços de segurança podem estar bloqueando seu rastejamento: Wordfence, CloudFlaree Fail2Banse você não tiver conhecimento de qualquer software de segurança em funcionamento, é melhor consultar seu departamento de TI.
Conclusão
Encountering a 403 Forbidden error while using Screaming Frog SEO Spider can be a frustrating hurdle in the pursuit of optimizing a website’s performance.
However, armed with an understanding of its causes and solutions, one can effectively navigate through this issue. By addressing potential factors such as non-existent pages, authentication requirements, server restrictions, and crawl speed, users can troubleshoot and resolve this error efficiently.
Additionally, implementing strategies like changing User-Agent, IP address, or whitelisting can further mitigate such obstacles. By leveraging the functionalities within Screaming Frog, users can enhance their technical SEO endeavors, ensuring smoother crawling experiences and facilitating the optimization process.
Remember to verify internal configurations, check robots.txt files, address broken links, and utilize meta tags like canonical and nofollow to bolster search engine visibility. By staying informed and proactive in managing client errors like the 403 Forbidden status code, webmasters can navigate through technical challenges, fostering a more optimized and seamlessly accessible online presence.
For more detailed guidance on addressing technical SEO issues, explore the resources available on screamingfrog.co.uk and utilize tools such as the Response Codes tab within the Screaming Frog interface. With diligence and strategic implementation of solutions, users can overcome hurdles and propel their websites toward greater visibility and success in the digital landscape.
Don’t hesitate to contact us if you still have trouble fixing the 403 Forbidden error. We’ll be more than happy to help out!
Perguntas frequentes
Quantas pessoas podem usar a licença do Screaming Frog?
Publicado em: 2022-09-01
Updated on: 2024-04-10
Portuguese 
English 
Japanese 
French 
Spanish 
Chinese