Screaming Frog 403 Forbidden Error

Pode ser muito frustrante quando você está tentando rastejar um site e, de repente, ver o 403 Erro proibido mensagem. O que você faz quando encontra este erro? Como você pode corrigi-lo? Neste post do blog, explicaremos o erro 403 Proibido e forneceremos algumas soluções para corrigi-lo. Fique atento!

sapo gritante
Isaac Adams-HandsScreaming Frog 403 Forbidden Error

O que é um 403 Erro Proibido?

O código de status 403 Proibido é um erro do lado do servidor indicando que o servidor se recusa a atender à solicitação. Isso pode ocorrer por vários motivos, incluindo, mas não se limitando a: a solicitação está sendo feita para um recurso que não existe, o usuário não tem permissões suficientes para acessar o recurso solicitado ou o servidor está configurado para bloco solicitações do endereço IP do usuário.

Independentemente do motivo, um erro 403 Proibido impedirá o usuário de acessar o recurso. Em alguns casos, o servidor pode fornecer um redirecionamento para outra página ou recurso que possa ser acessado; em outros casos, o usuário precisará entrar em contato com o proprietário ou administrador do site para resolver o problema. De qualquer forma, um erro 403 Proibido frustra qualquer usuário que a encontra.

Como corrigir o erro do código de status 403 proibido no Screaming Frog

  1. A página não sai

    aberto no navegador

    Causa plausível 1: O pedido está sendo feito para um recurso que não existe 

    Você precisará verificar se a página web existe. Você pode fazer isso abrindo a URL em seu navegador.

    Este teste lhe mostrará se a página web pode ser acessada pelo navegador.

  2. Autenticação Requerida

    Autenticação Requerida

    Causa plausível 2: O usuário não tem permissões suficientes para acessar o recurso solicitado.

    Em alguns casos, a página é protegida por senha. Você precisará terminar o nome de usuário e a senha no popup do modal Screaming Frog para que ele possa rastejar aquela página.

  3. O Servidor está bloqueando você

    bloqueador de bots de guerra

    Causa plausível 3: O servidor é configurado para bloquear as solicitações do usuário Endereço IP.

    Se a página web for visualizada em seu computador usando um navegador, isto significa que o site está bloqueando o bot (crawler) e é um evento isolado.

  4. Menor velocidade de rastreamento

    crawl-speed

    Solução 1: Você pode ter a configuração de aranha para rastejar muito rápido e agressivamente.

    Para consertar varreduras agressivas, será necessário baixar a taxa de rastejamento:

    Configuração >> Velocidade >> Configuração da velocidade da aranha

    Diminuir sua taxa de rastreamento aumentará o tempo necessário para realizar varreduras e reduzirá a carga de recursos do servidor.

  5. Mudar o Agente-usuário

    agente-usuário

    Solução 2: Se o site estiver bloqueando o Rastejador de Rã Gritante, mude o Agente-usuário em Screaming Frog.

    Configuração >> Agente-usuário >> Agente-usuário atual

    Alguns servidores são configurados para bloquear qualquer coisa, exceto um GoogleBot.

  6. Mude seu IP

    desenvolvedor

    Solução 3: Altere seu endereço IP

    O servidor pode estar bloqueando seu endereço IP, portanto é melhor tentar o rastejamento de um provedor de serviços de Internet diferente.

    Experimente o rastejamento de casa se você estiver no trabalho e quiser mudar seu endereço IP. Se você estiver em casa, experimente uma cafeteria com boa internet. Se você não puder sair, tente amarrar seu computador ao telefone. Mudar de local ajudará você a solucionar problemas e determinar se seu IP está bloqueado.

  7. Faça uma lista branca de seu IP

    fail2ban

    Solução 4: Faça uma lista branca de seu endereço IP no Servidor ou Website

    Você pode fazer uma lista branca de seu endereço IP com o site, servidor ou servidor DNS sempre que possível.

    As opções são infinitas, mas alguns serviços de segurança podem estar bloqueando seu rastejamento: Wordfence, CloudFlaree Fail2Banse você não tiver conhecimento de qualquer software de segurança em funcionamento, é melhor consultar seu departamento de TI.

Conclusão

Não hesite em nos contatar se você ainda tiver problemas para corrigir o erro 403 Proibido. Ficaremos mais do que felizes em ajudar!

Perguntas frequentes

  • Quantas pessoas podem usar a licença do Screaming Frog?

Publicado em: 2022-09-01
Atualizado em: 2022-12-18

Avatar para Isaac Adams-Hands

Isaac Adams-Hands

Isaac Adams-Hands é o Diretor de SEO da SEO North, uma empresa que presta serviços de Search Engine Optimization. Como profissional de SEO, Isaac tem uma experiência considerável em SEO On-page, SEO Off-page e SEO Técnico, o que lhe dá uma vantagem contra a concorrência.
pt_BRPortuguese