O Screaming Frog é uma excelente ferramenta para rastrear websites e extrair dados, mas se não estiver rastreando tudo URLsVocê não estará realizando uma auditoria SEO de qualidade. Neste post de blog, vamos examinar por que o Screaming Frog não está rastreando todas as URLs e como você pode corrigir o problema. Portanto, se você estiver tendo problemas para conseguir que o Sapo Gritante rasteje todas as suas URLs, fique atento! Você vai ter uma surpresa.

Tabela de Conteúdos
- Como consertar o Screaming Frog não rastejando todos os URLs
- O site é bloqueado por robôs.txt.
- O atributo 'nofollow' está presente nos links que não estão sendo rastreados.
- A página tem um atributo "nofollow" de nível de página.
- O Agente-usuário está sendo bloqueado.
- O site requer JavaScript.
- O site requer Cookies.
- O site utiliza framesets.
- O cabeçalho Content-Type não indicava que a página era HTML.
- Conclusão
- Perguntas frequentes
Como consertar o Screaming Frog não rastejando todos os URLs
Há várias razões para que o Screaming Frog não esteja rastreando todas as URLs em um websiteO mais comum é que o site tenha sido configurado para bloquear rastejadores como o Screaming Frog.
O site é bloqueado por robôs.txt.
Robots.txt pode bloquear Sapo gritante a partir de páginas rastejantes. Você pode configurar o SEO Spider para ignorar robôs.txt, indo para Configuração >> Aranha>> Avançado >> Desmarque Respeito Noindex cenário.
Robots.txt é usado para instruir os rastreadores da web, ou "bots", sobre o que eles podem acessar em um determinado website. Quando um bot tenta acessar uma página que é especificamente proibida no arquivo robots.txt, ele receberá uma mensagem de que o webmaster não quer que esta página seja rastreada. Em alguns casos, isto pode ser intencional. Por exemplo, o proprietário de um site pode querer impedir que os bots indexem informações sensíveis. Em outros casos, isso pode ser simplesmente devido a uma supervisão. Independentemente do motivo, um site que esteja bloqueado por robôs.txt será inacessível a qualquer um que tente rastreá-lo.
O atributo 'nofollow' está presente nos links que não estão sendo rastreados.
Os links Nofollow fazem como pretendido, eles dizem rastejadores para não seguir os links. Se todos os links estiverem definidos para nofollow em uma página, então Screaming Frog não tem para onde ir. Para contornar isto, você pode configurar o sapo gritante para seguir os links internos do nofollow.
Você pode atualizar esta opção em Configuração >> Aranha sob o Aba Crawlclicando em Seguir o "nofollow" interno links.
A página tem um atributo "nofollow" de nível de página.
O atributo nofollow de nível de página é definido por uma tag de meta robôs ou por uma X-Robots-Tag no cabeçalho HTTP. Estes podem ser vistos na aba "Diretrizes" no filtro "Nofollow". O atributo nofollow de nível de página é usado para evitar que os mecanismos de busca sigam os links de uma página.
Isto é útil para páginas que contêm links para fontes não confiáveis ou sem importância. Ao definir o atributo nofollow, você está dizendo aos mecanismos de busca que eles não devem seguir os links da página. Isto ajudará a melhorar as classificações dos motores de busca de seu site, mas o impedirá de rastrear o site.
Para ignorar as tags Noindex, você deve ir para Configuração >> Aranha>> Avançado >> Desmarque o Respeito noindex cenário.
O Agente-usuário está sendo bloqueado.
O Agente-usuário é uma seqüência de texto que é enviada por seu navegador para o site que você está visitando. O Agente-usuário pode fornecer informações sobre seu navegador, sistema operacional e até mesmo sobre seu dispositivo. Com base nestas informações, o website pode mudar a maneira como se comporta. Por exemplo, se você visitar um site usando um dispositivo móvel, o site pode redirecioná-lo para uma versão do site que seja amigável para o celular. Alternativamente, se você mudar o Agente Usuário para fingir ser um navegador diferente, talvez você possa acessar recursos que não estão disponíveis em seu navegador real. Da mesma forma, alguns sites podem bloquear certos navegadores por completo. Ao mudar o Agente-usuário, você pode mudar a maneira como um site se comporta, dando-lhe mais controle sobre sua experiência de navegação.
Você pode mudar o Agente-usuário sob Configuração >> Usuário-Agente.
O site requer JavaScript.
JavaScript é uma linguagem de programação que é comumente usada para criar páginas interativas na web. Quando o JavaScript é habilitado, ele pode ser executado automaticamente quando uma página é carregada, tornando possível que os itens da página sejam alterados sem a necessidade de atualizar a página inteira. Por exemplo, o JavaScript pode ser usado para criar menus suspensos, exibir imagens com base na entrada do usuário, e muito mais. Embora o JavaScript possa ser benéfico, alguns usuários preferem desativá-lo em seu navegador por vários motivos. Uma razão é que o JavaScript pode ser usado para rastrear a atividade de navegação de um usuário. No entanto, o JavaScript pode ser usado para rastrear a atividade de navegação de um usuário, desativar o JavaScript também pode levar a problemas com a forma como um website é exibido ou como certos recursos funcionam.
Tente permitindo a renderização javascript dentro do Screaming Frog under Configuração >> Aranha >> Renderização.
O site requer Cookies.
Você pode visualizar o site com os cookies desabilitados em seu navegador? Os usuários licenciados podem habilitar os cookies indo para Configuração >> Aranha e selecionando Sessão apenas em Armazenamento de biscoitos no Aba Avançado.
O site utiliza framesets.
A Aranha SEO não rasteja o atributo framesrc.
O cabeçalho Content-Type não indicava que a página era HTML.
Isto é mostrado na coluna Conteúdo e deve ser ou texto/HTML ou aplicação/xhtml+xml.
Conclusão
A aranha SEO Screaming Frog pode ser uma excelente ferramenta para auditar seu website, mas é vital garantir que todas as URLs sejam rastreadas. Se você não estiver obtendo os dados completos que precisa de suas auditorias, pode haver um problema com a configuração do "Screaming Frog". Este post no blog analisou por que o Screaming Frog pode não estar rastreando todas as suas URLs e como corrigir o problema. Ao corrigir estes problemas, você será capaz de obter dados mais abrangentes de suas auditorias do Screaming Frog e melhorar sua estratégia SEO. Você já tentou usar o Screaming Frog para suas auditorias de website? Que dicas você tem para melhorar sua funcionalidade?
Perguntas frequentes
Por que o Screaming Frog não está rastejando todos os URLs?
Publicado em: 2022-06-07
Atualizado em: 2023-01-02