Screaming Frog 403 Forbidden Error

Pode ser muito frustrante quando você está tentando rastrear um site e, de repente, vê a mensagem timeout ou erro 403 Forbidden mensagem. O que você faz quando encontra as mensagens mais comuns na página em sua tela: Erros de código de status HTTP, solicitações ruins, erros internos do servidor ou erros de resposta HTTP "sem resposta"? Como você pode corrigir isso? Nesta postagem do blog, explicaremos o erro 403 Forbidden e forneceremos algumas soluções para corrigi-lo. Fique ligado!

sapo gritante
Isaac Adams-Hands Screaming Frog 403 Forbidden Error

O que é um 403 Erro Proibido?

O código de status 403 Proibido é um erro do lado do servidor indicando que o servidor se recusa a atender à solicitação. Isso pode ocorrer por vários motivos, incluindo, mas não se limitando a: a solicitação está sendo feita para um recurso que não existe, o usuário não tem permissões suficientes para acessar o recurso solicitado ou o servidor está configurado para bloco solicitações do endereço IP do usuário.

Independentemente do motivo, um erro 403 Proibido impedirá o usuário de acessar o recurso. Em alguns casos, o servidor pode fornecer um redirecionamento para outra página ou recurso que possa ser acessado; em outros casos, o usuário precisará entrar em contato com o proprietário ou administrador do site para resolver o problema. De qualquer forma, um erro 403 Proibido frustra qualquer usuário que a encontra.

Como corrigir o erro do código de status 403 proibido no Screaming Frog

  1. A página não sai

    aberto no navegador

    Causa plausível 1: A solicitação está sendo feita para um recurso que não existe

    Você precisará verificar se a página web existe. Você pode fazer isso abrindo a URL em seu navegador.

    Este teste lhe mostrará se a página web pode ser acessada pelo navegador.

  2. Autenticação Requerida

    Autenticação Requerida

    Causa plausível 2: O usuário não tem permissões suficientes para acessar o recurso solicitado.

    Em alguns casos, a página é protegida por senha. Você precisará terminar o nome de usuário e a senha no popup do modal Screaming Frog para que ele possa rastejar aquela página.

  3. O Servidor está bloqueando você

    bloqueador de bots de guerra

    Causa plausível 3: O servidor está configurado para bloquear solicitações da conta do usuário Endereço IP.

    Se a página web for visualizada em seu computador usando um navegador, isto significa que o site está bloqueando o bot (crawler) e é um evento isolado.

  4. Menor velocidade de rastreamento

    crawl-speed

    Solução 1: Você pode ter a configuração de aranha para rastejar muito rápido e agressivamente.

    Para consertar varreduras agressivas, será necessário baixar a taxa de rastejamento:

    Configuração >> Velocidade >> Configuração da velocidade da aranha

    Diminuir sua taxa de rastreamento aumentará o tempo necessário para realizar varreduras e reduzirá a carga de recursos do servidor.

  5. Mudar o Agente-usuário

    agente-usuário

    Solução 2: Se o site estiver bloqueando o Rastejador de Rã Gritante, mude o Agente-usuário em Screaming Frog.

    Configuração >> Agente-usuário >> Agentes de usuário atuais

    Alguns servidores são configurados para bloquear qualquer coisa, exceto um GoogleBot.

  6. Mude seu IP

    desenvolvedor

    Solução 3: Altere seu endereço IP

    O servidor pode estar bloqueando seu endereço IP, portanto é melhor tentar o rastejamento de um provedor de serviços de Internet diferente.

    Experimente o rastejamento de casa se você estiver no trabalho e quiser mudar seu endereço IP. Se você estiver em casa, experimente uma cafeteria com boa internet. Se você não puder sair, tente amarrar seu computador ao telefone. Mudar de local ajudará você a solucionar problemas e determinar se seu IP está bloqueado.

  7. Faça uma lista branca de seu IP

    fail2ban

    Solução 4: Faça uma lista branca de seu endereço IP no Servidor ou Website

    Você pode fazer uma lista branca de seu endereço IP com o site, servidor ou servidor DNS sempre que possível.

    As opções são infinitas, mas alguns serviços de segurança podem estar bloqueando seu rastejamento: Wordfence, CloudFlaree Fail2Banse você não tiver conhecimento de qualquer software de segurança em funcionamento, é melhor consultar seu departamento de TI.

Conclusão

Encontrar um erro 403 Forbidden ao usar o Screaming Frog SEO Spider pode ser um obstáculo frustrante na busca pela otimização do desempenho de um site. 

No entanto, com uma compreensão de suas causas e soluções, é possível navegar com eficiência por esse problema. Ao abordar fatores potenciais, como páginas inexistentes, requisitos de autenticação, restrições de servidor e crawl os usuários podem solucionar o problema e resolver esse erro com eficiência. 

Além disso, a implementação de estratégias como alteração do User-Agent, endereço IP ou whitelisting pode reduzir ainda mais esses obstáculos. Ao aproveitar as funcionalidades do Screaming Frog, os usuários podem aprimorar seus esforços técnicos de SEO, garantindo experiências de rastreamento mais suaves e facilitando o processo de otimização. 

Lembre-se de verificar as configurações internas, verificar os arquivos robots.txt, resolver links quebrados e utilizar metatags como canonical e nofollow para reforçar a visibilidade do mecanismo de pesquisa. Mantendo-se informados e proativos no gerenciamento de erros do cliente, como o código de status 403 Forbidden, os webmasters podem navegar pelos desafios técnicos, promovendo uma presença on-line mais otimizada e perfeitamente acessível. 

Para obter orientações mais detalhadas sobre como lidar com problemas técnicos de SEO, explore os recursos disponíveis em screamingfrog.co.uk e utilize ferramentas como a guia Códigos de Resposta na interface do Screaming Frog. Com diligência e implementação estratégica de soluções, os usuários podem superar os obstáculos e impulsionar seus sites para uma maior visibilidade e sucesso no cenário digital.

Não hesite em entrar em contato conosco se ainda tiver problemas para corrigir o erro 403 Forbidden. Teremos o maior prazer em ajudar!

Perguntas frequentes

  • Quantas pessoas podem usar a licença do Screaming Frog?

Publicado em: 2022-09-01
Atualizado em: 2024-04-10

Avatar para Isaac Adams-Hands

Isaac Adams-Hands

Isaac Adams-Hands é o Diretor de SEO da SEO North, uma empresa que presta serviços de Search Engine Optimization. Como profissional de SEO, Isaac tem uma experiência considerável em SEO On-page, SEO Off-page e SEO Técnico, o que lhe dá uma vantagem contra a concorrência.
pt_BRPortuguese