Por que o Screaming Frog não está rastejando todos os URLs?

Screaming Frog é uma ótima ferramenta para rastrear websites e extrair dados, mas se não estiver rastreando todos os URLs, você não estará realizando uma auditoria SEO de qualidade. Neste post de blog, vamos dar uma olhada no porquê de o Screaming Frog não estar rastreando todas as URLs e como você pode corrigir o problema. Portanto, se você estiver tendo problemas para conseguir que o Sapo Gritador rasteje todas as suas URLs, fique atento! Você vai ter uma surpresa.

Por que o Screaming Frog não está rastejando todos os URLs?
Isaac Adams-HandsPor que o Screaming Frog não está rastejando todos os URLs?

Como consertar o Screaming Frog não rastejando todos os URLs

Há várias razões para que o Screaming Frog não esteja rastreando todas as URLs em um site; a mais comum é que o site foi configurado para bloquear rastejadores como o Screaming Frog.

  1. O site é bloqueado por robôs.txt.

    respeito noindex

    Robots.txt pode bloquear Sapo gritante a partir de páginas rastejantes. Você pode configurar o SEO Spider para ignorar robôs.txt, indo para Configuração >> Aranha>> Avançado >> Desmarque Respeito Noindex cenário.

    Robots.txt é usado para instruir os rastreadores da web, ou "bots", sobre o que eles podem acessar em um determinado website. Quando um bot tenta acessar uma página que é especificamente proibida no arquivo robots.txt, ele receberá uma mensagem de que o webmaster não quer que esta página seja rastreada. Em alguns casos, isto pode ser intencional. Por exemplo, o proprietário de um site pode querer impedir que os bots indexem informações sensíveis. Em outros casos, isso pode ser simplesmente devido a uma supervisão. Independentemente do motivo, um site que esteja bloqueado por robôs.txt será inacessível a qualquer um que tente rastreá-lo.

  2. O atributo 'nofollow' está presente nos links que não estão sendo rastreados.

    links nofollow

    Os links Nofollow fazem como pretendido, eles dizem aos rastejadores para não seguirem os links. Se todos os links estiverem definidos para nofollow em uma página, então Screaming Frog não tem para onde ir. Para contornar isto, você pode configurar o sapo gritante para seguir os links internos do nofollow.

    Você pode atualizar esta opção em Configuração >> Aranha sob o Aba Crawlclicando em Seguir o "nofollow" interno links.

  3. A página tem um atributo "nofollow" de nível de página.

    respeito noindex

    O atributo nofollow de nível de página é definido por uma tag de meta robôs ou uma X-Robots-Tag no cabeçalho HTTP. Estes podem ser vistos na aba "Diretrizes" no filtro "Nofollow". O atributo nofollow de nível de página é usado para evitar que os mecanismos de busca sigam os links em uma página.

    Isto é útil para páginas que contêm links para fontes não confiáveis ou sem importância. Ao definir o atributo nofollow, você está dizendo aos mecanismos de busca que eles não devem seguir os links da página. Isto ajudará a melhorar as classificações dos motores de busca de seu site, mas o impedirá de rastrear o site.

    Para ignorar as tags Noindex, você deve ir para Configuração >> Aranha>> Avançado >> Desmarque o Respeito noindex cenário.

  4. O Agente-usuário está sendo bloqueado.

    configuração do agente-usuário

    O Agente-usuário é uma seqüência de texto que é enviada por seu navegador para o site que você está visitando. O User-Agent pode fornecer informações sobre seu navegador, sistema operacional e até mesmo sobre seu dispositivo. Com base nestas informações, o website pode mudar a maneira como ele se comporta. Por exemplo, se você visitar um site usando um dispositivo móvel, o site pode redirecioná-lo para uma versão do site que seja amigável para o celular. Alternativamente, se você mudar o Agente Usuário para fingir ser um navegador diferente, talvez você possa acessar recursos que não estão disponíveis em seu navegador real. Da mesma forma, alguns sites podem bloquear certos navegadores por completo. Ao mudar o Agente-usuário, você pode mudar a maneira como um site se comporta, dando-lhe mais controle sobre sua experiência de navegação.

    Você pode mudar o Agente-usuário sob Configuração >> Usuário-Agente.

  5. O site requer JavaScript.

    rã gritando renderização javascript

    JavaScript é uma linguagem de programação que é comumente usada para criar páginas interativas na web. Quando o JavaScript é habilitado, ele pode ser executado automaticamente quando uma página é carregada, tornando possível que os itens da página sejam alterados sem a necessidade de atualizar a página inteira. Por exemplo, o JavaScript pode ser usado para criar menus suspensos, exibir imagens com base na entrada do usuário, e muito mais. Embora o JavaScript possa ser benéfico, alguns usuários preferem desativá-lo em seu navegador por vários motivos. Uma razão é que o JavaScript pode ser usado para rastrear a atividade de navegação de um usuário. No entanto, o JavaScript pode ser usado para rastrear a atividade de navegação de um usuário, desativar o JavaScript também pode levar a problemas com a forma como um website é exibido ou como certos recursos funcionam.

    Tente permitindo a renderização javascript dentro do Screaming Frog under Configuração >> Aranha >> Renderização.

  6. O site requer Cookies.

    armazenamento de biscoitos

    Você pode visualizar o site com os cookies desabilitados em seu navegador? Os usuários licenciados podem habilitar os cookies indo para Configuração >> Aranha e selecionando Sessão apenas em Armazenamento de biscoitos no Aba Avançado.

  7. O site utiliza framesets.

    quadros mistos

    A Aranha SEO não rasteja o atributo framesrc.

  8. O cabeçalho Content-Type não indicava que a página era HTML.

    tipo de conteúdo inválido

    Isto é mostrado na coluna Conteúdo e deve ser ou texto/HTML ou aplicação/xhtml+xml.

Conclusão

A aranha SEO Screaming Frog pode ser uma excelente ferramenta para auditar seu website, mas é importante garantir que todas as URLs sejam rastreadas. Se você não estiver obtendo os dados completos que precisa de suas auditorias, pode haver um problema com a configuração do "Screaming Frog". Neste post de blog, analisamos por que o Screaming Frog pode não estar rastreando todas as suas URLs e como corrigir o problema. Ao corrigir estes problemas, você será capaz de obter dados mais abrangentes de suas auditorias do Screaming Frog e melhorar sua estratégia SEO. Você já tentou usar o Screaming Frog para suas auditorias de website? Que dicas você tem para melhorar sua funcionalidade?

Perguntas frequentes

  • Por que o Screaming Frog não está rastejando todos os URLs?

Publicado em: 2022-06-07
Atualizado em: 2022-09-27

Avatar para Isaac Adams-Hands

Isaac Adams-Hands

Isaac Adams-Hands é o Diretor de SEO da SEO North, uma empresa que presta serviços de Search Engine Optimization. Como profissional de SEO, Isaac tem uma experiência considerável em SEO On-page, SEO Off-page e SEO Técnico, o que lhe dá uma vantagem contra a concorrência.
pt_BRPortuguese