用Screaming Frog抓取Google SERPs

你可能听说过Screaming Frog SEO Spider是分析和寻找你网站链接的首选工具。它是一个强大的网络爬虫，允许你从网站上导出数据，找到断裂的链接，检查标题标签，元描述，以及更多。但是你知道吗，它也可以在没有API的情况下用于Google SERP的搜刮？这篇文章将向初学者展示如何通过以下方式搜刮Google SERP 尖叫的青蛙 因此，你可以在一个地方获得所有关于人们正在搜索的信息!

在你开始之前，你可能有几个问题。

在Screaming Frog中，什么是SERP模式？

SERP模式允许你导出页面标题和描述，从 尖叫的青蛙，在Excel中进行批量编辑，然后将它们上传到该工具中，以了解它们可能出现在谷歌的SERP中。

搜刮谷歌是合法的吗？

谷歌不对搜刮行为采取法律行动，可能是出于自我保护的原因。谷歌测试用户代理（浏览器类型），并自动拒绝那些似乎来自可能的自动机器人的用户代理。

我们为什么要搜刮谷歌的搜索结果？

分析搜索引擎结果页(SERPs)提供了对特定关键词或主题的顶级搜索结果的洞察力。你可以利用这些信息使你的网站在搜索结果中获得更好的排名。

综上所述，不要做一个白痴，让你的IP被谷歌封锁。请尊重谷歌的抓取限制（在教程中指出）。

本教程将教你如何使用Screaming Frog刮取Google SERP。

替代性搜刮工具

你可以使用开源的Python替代品，如 靓汤 或 八爪鱼，但我发现这种方法在设置刮取数据时要容易10倍。

配置Screaming Frog

设置 尖叫的青蛙 至 列表模式

取消勾选所有在 配置 > 蜘蛛 > 抓取

在Screaming Frog中添加XPath选择器

使用下面的设置来设置你的自定义提取。

然后添加XPath名称，选择器，代码，+网页上的 "提取文本"。这一步将解析出HTML，为你提供干净的数据。你可以通过以下方式改变这些设置 查看源代码 来提取不同的项目。

1TP5页面标题
//h3[@class="LC20lb DKV0Md"]
 
#URLs
//div[@class="r"]/a[1]/@href
 
#Meta描述
//div[@class="s"]/div/span[@class="st"]

设置你的用户代理

隶属 配置 > 用户代理，设置一个用户友好的代理。

Chrome、Firefox、Safari不应该给你带来任何问题。

尊重谷歌

不要爬得太快。在 配置 > 速度，设置最大线程为 1.0，检查 限制URL/s，并将最大URL/s设置为 0.8. 如果你想爬得更快，我建议使用 代理人 以隐藏你的IP地址和一个验证码破解器，这样谷歌就不会禁止你。

输入你的抓取信息

在最后一步，现在你需要输入你的 搜索查询.在上传 > 手动输入下。

这也适用于搜刮LinkedIn、Amazon、Bing，只需稍作调整即可。

#谷歌查询
https://www.google.com/search?q=your+关键词+短语
 
1TP4Number
https://www.google.com/search?q=your+关键词+短语&num=50
 
#Location
https://www.google.com/search?q=your+关键词+短语&num=50&near=chicago,+il

结果将以水平方向显示

为了拉动 "人们也问"，我建议使用Ahrefs或AlsoAsked.com来获得准确的结果。

Excel中的转置功能

在Excel中，你将想使用转置功能来过滤你的网络刮削结果。选择你想改变的单元格，然后复制（在Mac上为CMD+C），将数据转置。然后选择粘贴选项>转置。由于有机结果是水平的，你可以将结果导出为CSV。

The same method works in Google Sheets to transpose 谷歌搜索 Results.

所有的搜索命令都在一个地方。

现在，你已经学会了如何通过以下方式搜刮Google SERP 尖叫的青蛙这里是尖叫蛙的一些其他用途。

• 如何做到 分析链接位置 与 "尖叫蛙 "合作
• 尖叫青蛙的 定制提取
• 什么是 "尖叫蛙"？

常见问题

---

发表于：2021-03-10
更新日期： 2024-09-16