Screaming Frog (https://www.screamingfrog.co.uk) is an excellent tool for crawling websites and extracting data, but if it’s not crawling all URLs, you won’t be performing a quality technical SEO audit (auditing on-page meta descriptions, response codes, internal linking, checking duplicate contents, page titles, backlinks, alt texts, etc) on your e-commerce sites. In this blog post, we’ll examine why Screaming Frog isn’t crawling all URLs and how you can fix the issue. So, if you’re having trouble getting Screaming Frog to crawl all of your URLs, stay tuned! You’re in for a treat.
Tabela de Conteúdos
- Como consertar o Screaming Frog não rastejando todos os URLs
- O site é bloqueado por robôs.txt.
- O atributo 'nofollow' está presente nos links que não estão sendo rastreados.
- A página tem um atributo "nofollow" de nível de página.
- O Agente-usuário está sendo bloqueado.
- O site requer JavaScript.
- O site requer Cookies.
- O site utiliza framesets.
- O cabeçalho Content-Type não indicava que a página era HTML.
- Conclusão
- Perguntas frequentes
Como consertar o Screaming Frog não rastejando todos os URLs
There are several reasons Screaming Frog may not crawl all subdomains on a websiteO mais comum é que o site tenha sido configurado para bloquear rastejadores como o Screaming Frog.
O site é bloqueado por robôs.txt.
Robots.txt pode bloquear Sapo gritante crawl pages. You can configure the SEO Spider to ignore robots.txt by going to Configuração >> Aranha >> Avançado >> Desmarque Respect Noindex cenário.
You can also change your Agente do usuário para GoogleBot to see if the website allows that crawl.
Robots.txt is used to instruct web crawlers, or “bots,” on what they are allowed to access on a given website. When a bot tries to access a page that is specifically disallowed in the robots.txt file, it will receive a message that the webmaster does not want this page crawled. In some cases, this may be intentional. For example, a site owner may want to prevent bots from indexing sensitive information. In other cases, it may simply be due to an oversight. Regardless of the reason, a site that is blocked by robots.txt will be inaccessible to anyone who tries to crawl it.
O atributo 'nofollow' está presente nos links que não estão sendo rastreados.
Os links Nofollow fazem como pretendido, eles dizem rastejadores not to follow the links. If all links are set to nofollow on a page, then Screaming Frog has nowhere to go. To bypass this, you can set Screaming Frog to follow internal nofollow internal links.
Você pode atualizar esta opção em Configuração >> Aranha sob o Aba Crawl by clicking on Seguir o "nofollow" interno links.
A página tem um atributo "nofollow" de nível de página.
O atributo nofollow de nível de página is set by either a meta robots tag or an X-Robots-Tag in the HTTP header. These can be seen in the “Directives” tab in the “Nofollow” filter. The page-level nofollow attribute is used to prevent search engines from following the links on a page.
This is useful for pages that contain links to unreliable or unimportant sources. By setting the nofollow attribute, you are telling search engines that they should not follow the links on the page. This will help to improve your site’s search engine rankings but stop you from crawling the website.
Para ignorar as tags Noindex, você deve ir para Configuração >> Aranha >> Avançado >> Desmarque o Respeito noindex cenário.
O Agente-usuário está sendo bloqueado.
O Agente-usuário é uma seqüência de texto que é enviada por seu navegador para o site que você está visitando. O Agente-usuário pode fornecer informações sobre seu navegador, sistema operacional e até mesmo sobre seu dispositivo. Com base nestas informações, o website pode mudar a maneira como se comporta. Por exemplo, se você visitar um site usando um dispositivo móvel, o site pode redirecioná-lo para uma versão do site que seja amigável para o celular. Alternativamente, se você mudar o Agente Usuário para fingir ser um navegador diferente, talvez você possa acessar recursos que não estão disponíveis em seu navegador real. Da mesma forma, alguns sites podem bloquear certos navegadores por completo. Ao mudar o Agente-usuário, você pode mudar a maneira como um site se comporta, dando-lhe mais controle sobre sua experiência de navegação.
Você pode mudar o Agente-usuário sob Configuração >> Agente-usuário.
O site requer JavaScript.
JavaScript is a programming language that is commonly used to create interactive web pages. When JavaScript is enabled, it can run automatically when a page is loaded, making it possible for items on the page to change without the need to refresh the entire page. For example, JavaScript can be used to create drop-down menus, display images based on user input, and much more. While JavaScript can be beneficial, some users prefer to disable it in their browser for various reasons. One reason is that JavaScript can be used to track a user’s browsing activity. However, disabling JavaScript can also lead to issues with how a website is displayed or how certain features work.
Tente permitindo a renderização javascript dentro do Screaming Frog under Configuração >> Aranha >> Rendering.
O site requer Cookies.
Você pode visualizar o site com os cookies desabilitados em seu navegador? Os usuários licenciados podem habilitar os cookies indo para Configuração >> Aranha e selecionando Sessão apenas em Armazenamento de biscoitos no Aba Avançado.
O site utiliza framesets.
A Aranha SEO não rasteja o atributo framesrc.
O cabeçalho Content-Type não indicava que a página era HTML.
Isto é mostrado na coluna Conteúdo e deve ser ou texto/HTML ou aplicação/xhtml+xml.
Conclusão
The Screaming Frog SEO spider can be an excellent tool for auditing your website, but it’s vital to ensure that all URLs are crawled. If you’re not getting the complete data that you need from your audits, there may be an issue with how Screaming Frog is configured. This blog post looked at why Sapo gritante might not be crawling all your URLs and how to fix the problem. By fixing these issues, you’ll be able to get more comprehensive data from your Screaming Frog audits and improve your SEO strategy. Have you tried using Screaming Frog for your website audits? What tips do you have for improving its functionality?
Perguntas frequentes
Por que o Screaming Frog não está rastejando todos os URLs?
Publicado em: 2022-06-07
Updated on: 2024-04-05
Portuguese 
English 
Japanese 
French 
Spanish 
Chinese