Raspar las SERPs de Google con Screaming Frog

Raspar las SERPs de Google con Screaming Frog
Google Scraping

Es posible que haya oído hablar de Screaming Frog SEO Spider es la herramienta de referencia para analizar y encontrar enlaces a su sitio web. Es un potente rastreador web que permite exportar datos de sitios web, encontrar enlaces rotos, comprobar las etiquetas de los títulos, las meta descripciones y mucho más. Pero, ¿sabías que también se puede utilizar para el raspado de las SERP de Google sin una API? En este artículo, mostraremos a los principiantes cómo raspar las SERP de Google con La Rana Gritona para que pueda obtener toda la información sobre lo que la gente busca en un solo lugar.

Antes de empezar, es posible que tenga algunas preguntas:

¿Qué es el modo SERP en Screaming Frog?

El modo SERP le permite exportar los títulos y las descripciones de las páginas de La Rana GritonaEn el caso de las páginas web de Google, se puede hacer una edición masiva en Excel, y luego subirlas a la herramienta para entender cómo pueden aparecer en las SERPs de Google.

Google no toma medidas legales contra el scraping, probablemente por razones de autoprotección. Google comprueba el User-Agent (el tipo de navegador) y rechaza automáticamente los User-Agents que parecen proceder de posibles bots automatizados.

¿Por qué queremos raspar los resultados de búsqueda de Google?

Análisis de las páginas de resultados de los motores de búsqueda (SERPs) proporciona información sobre los principales resultados de búsqueda para una palabra clave o un tema específico. Puede utilizar esta información para determinar cómo clasificar mejor su sitio web en los resultados de búsqueda.

Dicho esto, no seas idiota y consigas que tu IP sea bloqueada por Google. Por favor, respeta los límites de rastreo de Google (indicados en el tutorial)

Este tutorial le enseñará cómo raspar una SERP de Google usando Screaming Frog.

Herramientas alternativas de scraping

Puede utilizar alternativas de código abierto de python como Beautifulsoup o Octoparsepero este método me parece 10 veces más fácil de configurar para raspar datos.

Configurar Screaming Frog

Set La Rana GritonaModo de lista

Modo de lista
Construir un raspador de búsqueda - Modo de lista

Desmarque todos los elementos en Configuración > Araña > Rastreo

Configuración de la araña
Configuración de la araña

Añadir selectores XPath en Screaming Frog

Establezca su Extracción Personalizada utilizando los ajustes que se indican a continuación.

Extracción a medida
Extracción a medida

A continuación, añada el nombre XPath, el selector, el código, + "Extraer texto" de la página web. Este paso analizará el HTML y le proporcionará datos limpios. Usted puede cambiar estos ajustes por mirando el código fuente para extraer diferentes elementos.

Ajustes de extracción
Ajustes de extracción
#Page Titles
//h3[@class="LC20lb DKV0Md"]
 
#URLs
//div[@class="r"]/a[1]/@href
 
#Meta Descripciones
//div[@class="s"]/div/span[@class="st"]

Establezca su agente de usuario

En Configuración > Agente de usuario, establezca un agente fácil de usar.

Configuración del agente de usuario
Configuración del agente de usuario

Chrome, Firefox y Safari no deberían dar problemas.

Configuración del agente de usuario
Configuración del agente de usuario

Respetar a Google

No te arrastres demasiado rápido. En Configuración > Velocidad, ajuste los hilos máximos a 1.0, compruebe el Limitar URL/s, y establece las URLs máximas en 0.8. Si quieres rastrear más rápido, te recomiendo que utilices proxies para ocultar tu dirección IP y un captcha para que Google no te banee.

Velocidad del hilo
Velocidad del hilo

Introduzca su Crawl

En el último paso, ahora tienes que introducir tu consulta de búsqueda. En Carga > Introducir manualmente.

Esto también funcionará en el raspado de LinkedIn, Amazon, Bing con un poco de ajuste.

Ajustes de rastreo
Configuración de rastreo para el Google Scraper
#Google Query
https://www.google.com/search?q=your+palabra clave+frase
 
#Número
https://www.google.com/search?q=your+palabra clave+frase&num=50
 
#Localización
https://www.google.com/search?q=your+palabra clave+frase&num=50&near=chicago,+il

Los resultados se mostrarán en horizontal

Resultados del rastreo
Resultados del rastreo

Para sacar "La gente también pregunta", recomiendo utilizar Ahrefs o AlsoAsked.com para obtener resultados precisos.

Función de transposición en Excel

En Excel, querrás utilizar la función de transposición para filtrar los resultados de tu raspado web. Selecciona las celdas que quieras cambiar y copia (CMD+C en Mac) para transponer los datos. A continuación, seleccione Opciones de pegado > Transponer. Como los resultados orgánicos son horizontales, puedes exportar los resultados a un CSV.

El mismo método funciona en Google Sheets para transponer los resultados de la búsqueda de Google.

Transponer en Excel
Transponer en hojas de cálculo de Excel

Todos los comandos de búsqueda en un solo lugar:

Ahora que has aprendido a raspar las SERPs de Google con La Rana GritonaAquí tienes otros usos de la rana gritona:

PREGUNTAS FRECUENTES

  • ¿Cómo raspar Google?

Publicado en: 2021-03-10
Actualizado el: 2022-09-24

Avatar de Isaac Adams-Hands

Isaac Adams-Hands

Isaac Adams-Hands es el director de SEO en SEO North, una empresa que ofrece servicios de optimización de motores de búsqueda. Como profesional de SEO, Isaac tiene una considerable experiencia en SEO On-page, SEO Off-page y SEO Técnico, lo que le da una ventaja frente a la competencia.
es_ESSpanish