你可能听说过Screaming Frog SEO Spider是分析和寻找你网站链接的首选工具。它是一个强大的网络爬虫，允许你从网站上导出数据，找到断裂的链接，检查标题标签，元描述，以及更多。但是你知道吗，它也可以在没有API的情况下用于Google SERP的搜刮？这篇文章将向初学者展示如何通过以下方式搜刮Google SERP 尖叫的青蛙 因此，你可以在一个地方获得所有关于人们正在搜索的信息!
在你开始之前，你可能有几个问题。
目录
在Screaming Frog中，什么是SERP模式？
SERP模式允许你导出页面标题和描述，从 尖叫的青蛙，在Excel中进行批量编辑，然后将它们上传到该工具中，以了解它们可能出现在谷歌的SERP中。
搜刮谷歌是合法的吗？
谷歌不对搜刮行为采取法律行动，可能是出于自我保护的原因。谷歌测试用户代理（浏览器类型），并自动拒绝那些似乎来自可能的自动机器人的用户代理。
我们为什么要搜刮谷歌的搜索结果？
分析搜索引擎结果页(SERPs)提供了对特定关键词或主题的顶级搜索结果的洞察力。你可以利用这些信息使你的网站在搜索结果中获得更好的排名。
综上所述，不要做一个白痴，让你的IP被谷歌封锁。请尊重谷歌的抓取限制（在教程中指出）。
本教程将教你如何使用Screaming Frog刮取Google SERP。
替代性搜刮工具
你可以使用开源的Python替代品，如 靓汤 或 八爪鱼，但我发现这种方法在设置刮取数据时要容易10倍。
配置Screaming Frog
设置 尖叫的青蛙 至 列表模式
取消勾选所有在 配置 > 蜘蛛 > 抓取
在Screaming Frog中添加XPath选择器
使用下面的设置来设置你的自定义提取。
然后添加XPath名称，选择器，代码，+网页上的 "提取文本"。这一步将解析出HTML，为你提供干净的数据。你可以通过以下方式改变这些设置 查看源代码 来提取不同的项目。
1TP5页面标题
//h3[@class="LC20lb DKV0Md"]
#URLs
//div[@class="r"]/a[1]/@href
#Meta描述
//div[@class="s"]/div/span[@class="st"]设置你的用户代理
隶属 配置 > 用户代理，设置一个用户友好的代理。
Chrome、Firefox、Safari不应该给你带来任何问题。
尊重谷歌
不要爬得太快。在 配置 > 速度，设置最大线程为 1.0，检查 限制URL/s，并将最大URL/s设置为 0.8. 如果你想爬得更快，我建议使用 代理人 以隐藏你的IP地址和一个验证码破解器，这样谷歌就不会禁止你。
输入你的抓取信息
在最后一步，现在你需要输入你的 搜索查询.在上传 > 手动输入下。
这也适用于搜刮LinkedIn、Amazon、Bing，只需稍作调整即可。
#谷歌查询
https://www.google.com/search?q=your+关键词+短语
1TP4Number
https://www.google.com/search?q=your+关键词+短语&num=50
#Location
https://www.google.com/search?q=your+关键词+短语&num=50&near=chicago,+il结果将以水平方向显示
为了拉动 "人们也问"，我建议使用Ahrefs或AlsoAsked.com来获得准确的结果。
Excel中的转置功能
在Excel中，你将想使用转置功能来过滤你的网络刮削结果。选择你想改变的单元格，然后复制（在Mac上为CMD+C），将数据转置。然后选择粘贴选项>转置。由于有机结果是水平的，你可以将结果导出为CSV。
同样的方法在谷歌表格中也适用于转置谷歌搜索结果。
所有的搜索命令都在一个地方。
现在，你已经学会了如何通过以下方式搜刮Google SERP 尖叫的青蛙这里是尖叫蛙的一些其他用途。
- 如何做到 分析链接位置 与 "尖叫蛙 "合作
- 尖叫青蛙的 定制提取
- 什么是 "尖叫蛙"？
常见问题
如何搜刮谷歌？
如何搜刮搜索结果？
发表于：2021-03-10
更新日期： 2024-09-16
Chinese 
English 
Portuguese 
Japanese 
French 
Spanish