Raspar Google SERPs com Rã Gritante

Você já deve ter ouvido falar do Screaming Frog SEO Spider é a ferramenta para analisar e encontrar links para o seu website. É um poderoso rastreador web que lhe permite exportar dados de websites, encontrar links quebrados, verificar tags de título, meta descrições, e muito mais. Mas você sabia que ele também pode ser usado para o Google SERP scraping sem uma API? Este artigo mostrará aos iniciantes como raspar o Google SERPs com Sapo gritante para que você possa obter todas as informações sobre o que as pessoas estão procurando em um só lugar!

Antes de começar, você pode ter algumas perguntas:

O que é o modo SERP em "Screaming Frog"?

O modo SERP permite exportar títulos de páginas e descrições a partir de Sapo gritanteA ferramenta de análise de dados do Google, faz edições em massa no Excel e depois as carrega de volta para a ferramenta para entender como elas podem aparecer nas SERPs do Google.

É legal raspar o Google?

O Google não toma medidas legais contra o scraping, provavelmente por razões de auto-proteção. O Google testa o User-Agent (O tipo de navegador) e rejeita automaticamente os User-Agents que parecem ter origem em possíveis bots automatizados.

Por que queremos raspar os resultados da pesquisa do Google?

Análise de páginas de resultados de motores de busca (SERPs) fornece uma visão dos principais resultados da busca por uma palavra-chave ou tópico específico. Você pode usar estas informações para classificar melhor seu site nos resultados da busca.

Dito tudo isso, não seja idiota e bloqueie seu IP pelo Google. Por favor, respeite os limites de rastreamento do Google (anotados no tutorial)

Este tutorial lhe ensinará como raspar um SERP do Google usando o Screaming Frog.

Ferramentas alternativas de raspagem

Você pode usar alternativas de píton de código aberto, como Beautifulsoup ou Octoparsemas acho este método 10 vezes mais fácil de configurar para raspar os dados.

Configurar o Screaming Frog

Conjunto Sapo gritante para Modo Lista

Desmarque todos os itens em Configuração > Spider > Crawl

Adicionar XPath Selectors em Screaming Frog

Defina sua Extração Personalizada usando as configurações abaixo.

Em seguida, adicionar o XPath Name, Selector, Code, + "Extract Text" da página da web. Esta etapa analisará o HTML e lhe fornecerá dados limpos. Você pode alterar estas configurações por olhando para o código fonte para extrair diferentes itens.

#ítulos de Página
//h3[@class="LC20lb DKV0Md"]
 
#URLs
//div[@class="r"]/a[1]/@href
 
#Meta Descrições
//div[@class="s"]/div/span[@class="st"]

Defina seu Agente-usuário

Em Configuração > Usuário-Agente, definir um agente de fácil utilização.

Chrome, Firefox, Safari não deve lhe dar nenhum problema.

Respeito ao Google

Não rasteje muito rápido. Em Configuração > Velocidade, defina os Max Threads para 1.0verifique o URL/s limitee defina a(s) URL(s) máxima(s) para 0.8. Se você quiser fazer o rastreamento mais rápido, recomendo usar proxies para ocultar seu endereço IP e um captcha breaker, para que o Google não o proíba.

Digite seu Crawl

Na última etapa, agora você precisa entrar em seu consulta de pesquisa. Em Upload > Entrar manualmente.

Isto também funcionará na raspagem do LinkedIn, Amazon, Bing com um pouco de afinação.

#Google Query
https://www.google.com/search?q=your+ palavra-chave+frase
 
#Number
https://www.google.com/search?q=your+palavra-chave+frase&num=50
 
#Localização
https://www.google.com/search?q=your+ palavra-chave+frase&num=50&near=chicago,+il

Os resultados aparecerão horizontalmente

Para puxar "As pessoas também perguntam", eu recomendo usar Ahrefs ou AlsoAsked.com para obter resultados precisos.

Recurso de transposição em Excel

No Excel, você vai querer usar o recurso Transpose para filtrar seus resultados de raspagem da web. Selecione as células desejadas que você gostaria de alterar e copie (CMD+C em um Mac) para transpor os dados. Em seguida, escolha Opções de Colar > Transpor. Como os resultados orgânicos são horizontais, você pode exportar os resultados para um CSV.

O mesmo método funciona no Google Sheets para transpor os resultados da pesquisa do Google.

Todos os comandos de busca em um só lugar:

Agora que você aprendeu a raspar o Google SERPs com Sapo gritanteAqui estão alguns outros usos para gritar sapo:

• Como Analisar a posição do link com o Screaming Frog
• Rãs gritando Extrações personalizadas
• O que é "Screaming Frog"?

Perguntas frequentes

Publicado em: 2021-03-10
Atualizado em: 2023-01-02

Isaac Adams-Hands

Isaac Adams-Hands é o Diretor de SEO da SEO North, uma empresa que presta serviços de Search Engine Optimization. Como profissional de SEO, Isaac tem uma experiência considerável em SEO On-page, SEO Off-page e SEO Técnico, o que lhe dá uma vantagem contra a concorrência.