Por que o Screaming Frog não está rastejando todos os URLs?

O site é bloqueado por robôs.txt.

Robots.txt pode bloquear Sapo gritante a partir de páginas rastejantes. Você pode configurar o SEO Spider para ignorar robôs.txt, indo para Configuração >> Aranha>> Avançado >> Desmarque Respeito Noindex cenário.

Robots.txt é usado para instruir os rastreadores da web, ou "bots", sobre o que eles podem acessar em um determinado website. Quando um bot tenta acessar uma página que é especificamente proibida no arquivo robots.txt, ele receberá uma mensagem de que o webmaster não quer que esta página seja rastreada. Em alguns casos, isto pode ser intencional. Por exemplo, o proprietário de um site pode querer impedir que os bots indexem informações sensíveis. Em outros casos, isso pode ser simplesmente devido a uma supervisão. Independentemente do motivo, um site que esteja bloqueado por robôs.txt será inacessível a qualquer um que tente rastreá-lo.

O atributo 'nofollow' está presente nos links que não estão sendo rastreados.

Os links Nofollow fazem como pretendido, eles dizem rastejadores para não seguir os links. Se todos os links estiverem definidos para nofollow em uma página, então Screaming Frog não tem para onde ir. Para contornar isto, você pode configurar o sapo gritante para seguir os links internos do nofollow.

Você pode atualizar esta opção em Configuração >> Aranha sob o Aba Crawlclicando em Seguir o "nofollow" interno links.

A página tem um atributo "nofollow" de nível de página.

O atributo nofollow de nível de página é definido por uma tag de meta robôs ou por uma X-Robots-Tag no cabeçalho HTTP. Estes podem ser vistos na aba "Diretrizes" no filtro "Nofollow". O atributo nofollow de nível de página é usado para evitar que os mecanismos de busca sigam os links de uma página.

Isto é útil para páginas que contêm links para fontes não confiáveis ou sem importância. Ao definir o atributo nofollow, você está dizendo aos mecanismos de busca que eles não devem seguir os links da página. Isto ajudará a melhorar as classificações dos motores de busca de seu site, mas o impedirá de rastrear o site.

Para ignorar as tags Noindex, você deve ir para Configuração >> Aranha>> Avançado >> Desmarque o Respeito noindex cenário.

O Agente-usuário está sendo bloqueado.

O Agente-usuário é uma seqüência de texto que é enviada por seu navegador para o site que você está visitando. O Agente-usuário pode fornecer informações sobre seu navegador, sistema operacional e até mesmo sobre seu dispositivo. Com base nestas informações, o website pode mudar a maneira como se comporta. Por exemplo, se você visitar um site usando um dispositivo móvel, o site pode redirecioná-lo para uma versão do site que seja amigável para o celular. Alternativamente, se você mudar o Agente Usuário para fingir ser um navegador diferente, talvez você possa acessar recursos que não estão disponíveis em seu navegador real. Da mesma forma, alguns sites podem bloquear certos navegadores por completo. Ao mudar o Agente-usuário, você pode mudar a maneira como um site se comporta, dando-lhe mais controle sobre sua experiência de navegação.

Você pode mudar o Agente-usuário sob Configuração >> Usuário-Agente.

O site requer JavaScript.

JavaScript é uma linguagem de programação que é comumente usada para criar páginas interativas na web. Quando o JavaScript é habilitado, ele pode ser executado automaticamente quando uma página é carregada, tornando possível que os itens da página sejam alterados sem a necessidade de atualizar a página inteira. Por exemplo, o JavaScript pode ser usado para criar menus suspensos, exibir imagens com base na entrada do usuário, e muito mais. Embora o JavaScript possa ser benéfico, alguns usuários preferem desativá-lo em seu navegador por vários motivos. Uma razão é que o JavaScript pode ser usado para rastrear a atividade de navegação de um usuário. No entanto, o JavaScript pode ser usado para rastrear a atividade de navegação de um usuário, desativar o JavaScript também pode levar a problemas com a forma como um website é exibido ou como certos recursos funcionam.

Tente permitindo a renderização javascript dentro do Screaming Frog under Configuração >> Aranha >> Renderização.

O site requer Cookies.

Você pode visualizar o site com os cookies desabilitados em seu navegador? Os usuários licenciados podem habilitar os cookies indo para Configuração >> Aranha e selecionando Sessão apenas em Armazenamento de biscoitos no Aba Avançado.

O site utiliza framesets.

A Aranha SEO não rasteja o atributo framesrc.

O cabeçalho Content-Type não indicava que a página era HTML.

Isto é mostrado na coluna Conteúdo e deve ser ou texto/HTML ou aplicação/xhtml+xml.