Racler les SERPs de Google avec Screaming Frog

Vous avez peut-être déjà entendu parler de Screaming Frog SEO Spider, l'outil incontournable pour analyser et trouver des liens vers votre site Web. Il s'agit d'un puissant robot d'exploration du Web qui vous permet d'exporter des données à partir de sites Web, de trouver des liens brisés, de vérifier les balises de titre, les méta-descriptions et bien plus encore. Mais saviez-vous qu'il peut également être utilisé pour le scraping des SERP de Google sans API ? Cet article montre aux débutants comment extraire les SERP de Google à l'aide de l'API. Grenouille hurlante afin que vous puissiez obtenir toutes les informations sur ce que les gens recherchent en un seul endroit !

Avant de commencer, vous vous posez peut-être quelques questions :

Qu'est-ce que le mode SERP dans Screaming Frog ?

Le mode SERP vous permet d'exporter les titres et les descriptions des pages à partir des éléments suivants Grenouille hurlantepour effectuer des modifications en masse dans Excel, puis les télécharger à nouveau dans l'outil pour comprendre comment elles peuvent apparaître dans les SERP de Google.

Est-il légal d'exploiter Google ?

Google ne prend pas de mesures juridiques contre le raclage, probablement pour des raisons d'autoprotection. Google teste l'User-Agent (le type de navigateur) et rejette automatiquement les User-Agents qui semblent provenir d'éventuels robots automatisés.

Pourquoi voulons-nous gratter les résultats de recherche de Google ?

Analyse des pages de résultats des moteurs de recherche (SERPs) donne un aperçu des principaux résultats de recherche pour un mot clé ou un sujet spécifique. Vous pouvez utiliser ces informations pour mieux classer votre site Web dans les résultats de recherche.

Cela dit, ne soyez pas un idiot et ne faites pas bloquer votre IP par Google. Veuillez respecter les limites d'exploration de Google (indiquées dans le tutoriel).

Ce tutoriel vous apprendra à extraire une SERP de Google à l'aide de Screaming Frog.

Autres outils de scraping

Vous pouvez utiliser des alternatives python open-source comme Belle soupe ou Octoparsemais je trouve cette méthode dix fois plus facile à mettre en place pour récupérer des données.

Configurer Screaming Frog

Définir Grenouille hurlante à Mode liste

Décochez tous les éléments dans Configuration > Spider > Crawl

Ajouter des sélecteurs XPath dans Screaming Frog

Définissez votre extraction personnalisée à l'aide des paramètres ci-dessous.

Ajoutez ensuite le Nom XPath, le Sélecteur, le Code, + "Extraire le texte" de la page web. Cette étape analysera le HTML et vous fournira des données propres. Vous pouvez modifier ces paramètres en en regardant le code source pour extraire différents éléments.

#itres de page
//h3[@class="LC20lb DKV0Md"]
 
#URLs
//div[@class="r"]/a[1]/@href
 
#Meta Descriptions
//div[@class="s"]/div/span[@class="st"]

Définissez votre User-Agent

Sous Configuration > User-Agent, mettez en place un agent convivial.

Chrome, Firefox, Safari ne devraient pas vous poser de problèmes.

Respecter Google

Ne rampez pas trop vite. Sur Configuration > Vitessele nombre maximum de fils est fixé à 1.0vérifiez le Limite URL/set définissez l'URL/s maximum à 0.8. Si vous souhaitez accélérer la vitesse d'exploration, je vous recommande d'utiliser mandataires pour masquer votre adresse IP et un dispositif anti-captcha, afin que Google ne vous bannisse pas.

Entrez votre crawl

Dans la dernière étape, vous devez maintenant entrer votre numéro de téléphone. requête de recherche. Sous Upload > Enter Manually.

Cela fonctionnera également sur LinkedIn, Amazon, Bing avec un peu d'ajustement.

#Google Query
https://www.google.com/search?q=your+mot clé+phrase
 
#Numéro
https://www.google.com/search?q=your+mot clé+phrase
 
#Location
https://www.google.com/search?q=your+mot-clé+phrase50&proche=chicago,+il

Les résultats s'afficheront horizontalement

Pour tirer "Les gens demandent aussi", je recommande d'utiliser Ahrefs ou AlsoAsked.com pour obtenir des résultats précis.

Fonction de transposition dans Excel

Dans Excel, vous voudrez utiliser la fonction de transposition pour filtrer vos résultats de web scraping. Sélectionnez les cellules que vous souhaitez modifier et copiez (CMD+C sur un Mac) pour transposer les données. Choisissez ensuite Options de collage > Transposer. Comme les résultats organiques sont horizontaux, vous pouvez exporter les résultats dans un CSV.

La même méthode fonctionne dans Google Sheets pour transposer les résultats de recherche de Google.

Toutes les commandes de recherche en un seul endroit :

Maintenant que vous avez appris comment gratter les SERPs de Google avec Grenouille hurlantevoici quelques autres utilisations de la grenouille hurlante :

• Comment faire Analyser la position des liens avec Screaming Frog
• La grenouille hurlante Extractions personnalisées
• Qu'est-ce que la Grenouille Hurlante ?

FAQ

Publié le : 2021-03-10
Mis à jour le : 2023-01-02

Isaac Adams-Hands

Isaac Adams-Hands est le directeur du référencement chez SEO North, une entreprise qui fournit des services d'optimisation des moteurs de recherche. En tant que professionnel du référencement, Isaac possède une expertise considérable en matière de référencement sur page, de référencement hors page et de référencement technique, ce qui lui donne une longueur d'avance sur la concurrence.