Raspar las SERPs de Google con Screaming Frog

Es posible que haya oído hablar de Screaming Frog SEO Spider es la herramienta de referencia para analizar y encontrar enlaces a su sitio web. Es un potente rastreador web que permite exportar datos de sitios web, encontrar enlaces rotos, comprobar las etiquetas de los títulos, las meta descripciones y mucho más. Pero, ¿sabías que también se puede utilizar para el raspado de las SERP de Google sin necesidad de una API? Este artículo mostrará a los principiantes cómo raspar las SERP de Google con La Rana Gritona para que pueda obtener toda la información sobre lo que la gente busca en un solo lugar.

Antes de empezar, es posible que tenga algunas preguntas:

¿Qué es el modo SERP en Screaming Frog?

El modo SERP le permite exportar los títulos y las descripciones de las páginas de La Rana GritonaEn el caso de las páginas web de Google, se pueden hacer ediciones masivas en Excel y luego cargarlas en la herramienta para entender cómo pueden aparecer en las SERP de Google.

¿Es legal el scraping de Google?

Google no toma medidas legales contra el scraping, probablemente por razones de autoprotección. Google comprueba el User-Agent (el tipo de navegador) y rechaza automáticamente los User-Agents que parecen proceder de posibles bots automatizados.

¿Por qué queremos raspar los resultados de búsqueda de Google?

Análisis de las páginas de resultados de los motores de búsqueda (SERPs) proporciona información sobre los principales resultados de búsqueda para una palabra clave o un tema específico. Puede utilizar esta información para clasificar mejor su sitio web en los resultados de búsqueda.

Dicho esto, no seas idiota y consigas que tu IP sea bloqueada por Google. Por favor, respeta los límites de rastreo de Google (indicados en el tutorial)

Este tutorial le enseñará cómo raspar una SERP de Google usando Screaming Frog.

Herramientas alternativas de scraping

Puede utilizar alternativas de código abierto de python como Beautifulsoup o Octoparsepero este método me parece 10 veces más fácil de configurar para raspar datos.

Configurar Screaming Frog

Set La Rana Gritona a Modo de lista

Desmarque todos los elementos en Configuración > Araña > Rastreo

Añadir selectores XPath en Screaming Frog

Establezca su Extracción Personalizada utilizando los ajustes que se indican a continuación.

A continuación, añada el nombre XPath, el selector, el código, + "Extraer texto" de la página web. Este paso analizará el HTML y le proporcionará datos limpios. Usted puede cambiar estos ajustes por mirando el código fuente para extraer diferentes elementos.

#Page Titles
//h3[@class="LC20lb DKV0Md"]
 
#URLs
//div[@class="r"]/a[1]/@href
 
#Meta Descripciones
//div[@class="s"]/div/span[@class="st"]

Establezca su agente de usuario

En Configuración > Agente de usuario, establezca un agente fácil de usar.

Chrome, Firefox y Safari no deberían dar problemas.

Respetar a Google

No te arrastres demasiado rápido. En Configuración > Velocidad, ajuste los hilos máximos a 1.0, compruebe el Limitar URL/s, y establece las URLs máximas en 0.8. Si quieres rastrear más rápido, te recomiendo que utilices apoderados para ocultar tu dirección IP y un rompedor de captchas, para que Google no te banee.

Introduzca su Crawl

En el último paso, ahora tienes que introducir tu consulta de búsqueda. En Carga > Introducir manualmente.

Esto también funcionará en el raspado de LinkedIn, Amazon, Bing con un poco de ajuste.

#Google Query
https://www.google.com/search?q=your+palabra clave+frase
 
#Número
https://www.google.com/search?q=your+palabra clave+frase&num=50
 
#Localización
https://www.google.com/search?q=your+palabra clave+frase&num=50&near=chicago,+il

Los resultados se mostrarán en horizontal

Para sacar "La gente también pregunta", recomiendo utilizar Ahrefs o AlsoAsked.com para obtener resultados precisos.

Función de transposición en Excel

En Excel, querrás utilizar la función de transposición para filtrar los resultados de tu raspado web. Selecciona las celdas que quieras cambiar y copia (CMD+C en Mac) para transponer los datos. A continuación, seleccione Opciones de pegado > Transponer. Como los resultados orgánicos son horizontales, puedes exportar los resultados a un CSV.

The same method works in Google Sheets to transpose Búsqueda en Google Results.

Todos los comandos de búsqueda en un solo lugar:

Ahora que has aprendido a raspar las SERPs de Google con La Rana GritonaAquí tienes otros usos de la rana gritona:

• Cómo Analizar la posición de los enlaces con Screaming Frog
• La Rana Gritona Extracciones personalizadas
• ¿Qué es Screaming Frog?

PREGUNTAS FRECUENTES

Publicado en: 2021-03-10
Actualizado el: 2024-09-16

Isaac Adams-Hands

Isaac Adams-Hands es el director de SEO en SEO North, una empresa que ofrece servicios de optimización de motores de búsqueda. Como profesional de SEO, Isaac tiene una considerable experiencia en SEO On-page, SEO Off-page y SEO Técnico, lo que le da una ventaja frente a la competencia.