Como você pode identificar e corrigir URLs não indexáveis no Screaming Frog SEO Spider?

Para corrigir URLs não indexáveis usando o Screaming Frog SEO Spider, você deve primeiro rastrear seu site para identificar esses URLs. Observe a coluna "Status de indexabilidade" para ver quais páginas são não-indexáveis. Os fatores que causam a não indexabilidade podem incluir conteúdo duplicado, ausência de resposta (erros 404) ou meta tags como "nofollow". Para resolver esses problemas, verifique o seguinte: Renderização de HTML e JavaScript: Certifique-se de que as configurações de agente de usuário do Screaming Frog correspondam às dos bots do Google para simular com precisão como seu site é rastreado. Habilite a renderização de JavaScript se o seu site depender dele para a geração de conteúdo. Elementos de link canônico: Verifique se as tags canônicas estão implementadas corretamente. As páginas não indexáveis devido à canonização incorreta devem ter o elemento de link canônico apontando para o URL correto e indexável. Configuração de meta e cabeçalho: Revise as meta tags e as respostas de cabeçalho das páginas não indexáveis. Remova as diretivas "nofollow" e corrija todas as tags "noindex" configuradas incorretamente. Sitemap e Crawl Depth: Certifique-se de que seu sitemap XML esteja atualizado e inclua todos os URLs indexáveis. No Screaming Frog, analise a profundidade do rastreamento para garantir que as páginas importantes não estejam enterradas muito fundo para que os mecanismos de pesquisa possam encontrá-las facilmente. Conteúdo duplicado e texto alternativo: Resolva os problemas de conteúdo duplicado e garanta que o texto alternativo seja usado corretamente nas imagens, o que pode afetar a indexabilidade. Validação e configuração no Google Search Console: Depois de fazer as alterações, valide-as por meio do Google Search Console. Isso lhe dará uma visão de como o Google vê seu site após a correção. Painel de detalhes do lado direito no Screaming Frog: Use o painel de detalhes do lado direito do Screaming Frog para inspecionar URLs individuais em busca de erros específicos ou avisos relacionados à indexabilidade. Ao abordar esses elementos, você pode aumentar a indexabilidade dos URLs do seu site, melhorando a visibilidade deles nos resultados de pesquisa do Google.

Fixação de URLs não-indexáveis no Screaming Frog

Isaac Adams-Hands -· Fixação de URLs não indexáveis no Screaming Frog

A correção de URLs não indexáveis no Screaming Frog pode ser muito trabalhosa. Felizmente, há uma maneira fácil de fazer isso. Esta postagem do blog mostrará a você como corrigi-los em apenas alguns minutos. Portanto, se você estiver tendo problemas para obter seus URLs indexadoContinue lendo! Mostraremos como corrigi-los no Screaming Frog e fazer com que seu site tenha uma classificação mais alta nos resultados de pesquisa do Google.

Tabela de Conteúdos

Como corrigir URLs não-indexáveis em Rã Gritante
Códigos de status de indexabilidade
200 Códigos de status
3XX Códigos de erro
404 Códigos de erro
5XX Códigos de erro
Conclusão
Perguntas frequentes

Como corrigir URLs não-indexáveis em Rã Gritante

Códigos de status de indexabilidade
Existem quatro códigos principais de status de indexabilidade: 2XX, 3XX, 4XX, e 5XX.

200 código: um mecanismo de busca pode acessar a página com sucesso.
301 código: a página foi permanentemente mudada para um novo local.
302 código: a página foi temporariamente transferida para um novo local.
404 código: a página não pôde ser encontrada.
Código 500O servidor encontrou um erro de cliente.

Estes códigos são essenciais para entender como um mecanismo de busca interage com seu site.

A compreensão destes códigos de status de indexabilidade permite controlar melhor como o sapo gritante encontra um erro ao escanear seu website.
200 Códigos de status
Na maioria dos casos, uma etiqueta não-indexável foi aplicada ao website criando um status Não-indexável.

Se você tem um site WordPress, você pode verificar Configurações >> Leitura >> Visibilidade do motor de busca para ver se a caixa foi marcada fazendo com que o site fosse definido como não-indexado.

Se isso não resolver seu problema, você pode checar páginas individuais para uma etiqueta sem índice; se você estiver usando o plugin Yoast, você pode checar no nível de página em Advanced >> Permitir que os mecanismos de busca mostrem esta página nos resultados da busca?

Você também pode verificar seu arquivo Robots.TXT, que pode ser encontrado em seu website indo até o nome de domínio seguido por domain.com/robots.txt. Você estará procurando por um Não é permitido: / cenário.

Finalmente, você pode ver as tags canônicas de sua página

A URL no navegador e rel="canonical tag" (etiqueta canônica) deve corresponder. Se estiverem incorretas (por exemplo Rel está definido como HTTP e a página da Web está definida como HTTPS), você pode corrigir o URL canônico usando o Melhor Busca 'n Substituir Plugin ou no plug-in Yoast.
3XX Códigos de erro
Quando você vê um código de erro 3XX, a URL é redirecionada. Você precisará corrigir manualmente o URL redirecionado em seu website ou usar um plugin. 3XX erros significam que os motores de busca só podem indexar o destino final.
404 Códigos de erro
Se você estiver experimentando 4XX erros, você pode corrigir os links manualmente ou usar um plugin como o Redirection. 404 erros não são indexáveis, pois eles são o "Página não encontrada" página de aviso.

403 erros indicam na maioria dos casos que um site externo está bloqueando seu rastreador por razões de segurança e proteção.
5XX Códigos de erro
5XX código de erro significa que ocorreu um erro interno do servidor. Este erro é comumente causado pela varredura do Screaming Frog muito rápido para que o servidor se mantenha em dia e fique sobrecarregado, ficando sem recursos do servidor (memória).

Para corrigir este erro, você pode atualizar o servidor de seu site ou diminuir a velocidade com que o rastreador escaneia seu site.

Em Screaming Frog, você pode atualizar a velocidade de rastreamento, indo para Configuração >> Velocidade >> Rosca máxima.

Conclusão

Seguindo nosso guia sobre como corrigir páginas não-indexáveis ou tags canônicas não-indexáveis no Screaming Frog, você pode garantir que o maior número possível de pessoas veja seu website. Isso ajudará a melhorar a classificação do seu site nas páginas de resultados de pesquisa do Google e aumentará as chances de os clientes em potencial encontrarem sua empresa on-line. Para obter mais informações ou tutoriais, você pode visitar o site do Screaming Frog ou contratar um especialista em SEO que faça essas técnicas de SEO para você.

Perguntas frequentes

Como você pode identificar e corrigir URLs não indexáveis no Screaming Frog SEO Spider?
Para corrigir URLs não indexáveis usando o Screaming Frog SEO Spider, você deve primeiro rastrear seu site para identificar esses URLs. Observe a coluna "Status de indexabilidade" para ver quais páginas são não-indexáveis. Os fatores que causam a não indexabilidade podem incluir conteúdo duplicado, ausência de resposta (erros 404) ou meta tags como "nofollow". Para resolver esses problemas, verifique o seguinte:
1. Renderização de HTML e JavaScript: Certifique-se de que as configurações de agente de usuário do Screaming Frog correspondam às dos bots do Google para simular com precisão como seu site é rastreado. Habilite a renderização de JavaScript se o seu site depender dele para a geração de conteúdo.
2. Elementos de link canônico: Verifique se as tags canônicas estão implementadas corretamente. As páginas não indexáveis devido à canonização incorreta devem ter o elemento de link canônico apontando para o URL correto e indexável.
3. Configuração de meta e cabeçalho: Revise as meta tags e as respostas de cabeçalho das páginas não indexáveis. Remova as diretivas "nofollow" e corrija todas as tags "noindex" configuradas incorretamente.
4. Sitemap e Crawl Depth: Certifique-se de que seu sitemap XML esteja atualizado e inclua todos os URLs indexáveis. No Screaming Frog, analise a profundidade do rastreamento para garantir que as páginas importantes não estejam enterradas muito fundo para que os mecanismos de pesquisa possam encontrá-las facilmente.
5. Conteúdo duplicado e texto alternativo: Resolva os problemas de conteúdo duplicado e garanta que o texto alternativo seja usado corretamente nas imagens, o que pode afetar a indexabilidade.
6. Validação e configuração no Google Search Console: Depois de fazer as alterações, valide-as por meio do Google Search Console. Isso lhe dará uma visão de como o Google vê seu site após a correção.
7. Painel de detalhes do lado direito no Screaming Frog: Use o painel de detalhes do lado direito do Screaming Frog para inspecionar URLs individuais em busca de erros específicos ou avisos relacionados à indexabilidade.
Ao abordar esses elementos, você pode aprimorar a indexabilidade dos URLs do seu site, melhorando a visibilidade deles nos resultados de pesquisa do Google.

Publicado em: 2022-09-26
Atualizado em: 2024-05-07

Isaac Adams-Hands

Isaac Adams-Hands é o Diretor de SEO da SEO North, uma empresa que presta serviços de Search Engine Optimization. Como profissional de SEO, Isaac tem uma experiência considerável em SEO On-page, SEO Off-page e SEO Técnico, o que lhe dá uma vantagem contra a concorrência.