尖叫的青蛙403禁忌错误

当你试图抓取一个网站时,突然看到 403 禁用错误 信息。当你遇到这个错误时,你该怎么办?你怎样才能解决它?在这篇博文中,我们将解释403 Forbidden错误,并提供一些解决方案来修复它。请继续关注!

尖叫的青蛙
艾萨克-亚当斯-汉斯 - 尖叫的青蛙403禁忌错误

什么是403禁止错误?

403 Forbidden状态代码是一个服务器端的错误,表明 服务器 拒绝履行该请求。这可能是由于几个原因,包括但不限于:对不存在的资源提出请求,用户没有足够的权限访问所请求的资源,或者服务器被配置为 来自用户的IP地址的请求。

不管是什么原因,一个403禁止的错误将阻止用户访问所请求的内容。 资源.在某些情况下,服务器可能会提供一个重定向到另一个可以访问的页面或资源;在其他情况下,用户将需要联系网站所有者或管理员来解决这个问题。无论哪种情况,一个403禁止的错误都会使任何一个人感到沮丧。 用户 遇到它的人。

如何在Screaming Frog中修复403禁止状态代码错误

  1. 该页面无法退出

    在浏览器中打开

    合理的原因1:该请求是为一个不存在的资源提出的。 

    你将需要验证该网页是否存在。你可以通过在浏览器中打开该URL来做到这一点。

    这个测试将显示网页是否可以从浏览器中到达。

  2. 需要认证

    需要认证

    合理的原因2:用户没有足够的权限来访问所请求的资源。

    在某些情况下,该页面有密码保护。您需要在Screaming Frog的模式弹出窗口中输入用户名和密码,以便它能抓取该页面。

  3. 服务器正在阻止你

    Cloudflare机器人拦截器

    可疑原因3:服务器被配置为阻止来自用户的请求。 IP地址.

    如果该网页可以在你的电脑上使用浏览器查看,这意味着该网站正在阻止机器人(爬虫),是一个孤立的事件。

  4. 降低爬行速度

    爬行速度

    解决方案1。 你可能把蜘蛛设置成爬得太快、太猛了。

    为了解决侵略性扫描,你需要降低爬行率。

    配置 >> 速度 >> 蜘蛛速度配置

    降低你的抓取率将增加执行扫描的时间,并减少服务器资源的负荷。

  5. 改变用户代理

    用户-代理

    解决方案2。 如果网站阻挡了Screaming Frog爬虫,请改变 用户代理 在 "尖叫蛙"。

    配置 >> 用户代理 >> 目前的用户代理

    一些服务器被设置为阻止任何东西,除了一个 谷歌机器人.

  6. 改变你的IP

    开发商

    解决方案3。 改变你的IP地址

    服务器可能屏蔽了你的IP地址,所以最好尝试从不同的互联网服务提供商处抓取。

    如果你在工作,想改变你的IP地址,可以试试在家里爬行。如果你在家里,试试有良好网络的咖啡馆。如果你不能离开,试着把你的电脑和你的手机拴在一起。改变地点将帮助你排除故障,确定你的IP是否被封锁。

  7. 将你的IP列入白名单

    失败2班

    解决方案4。 在服务器或网站上将你的IP地址列入白名单

    在可能的情况下,你可以在网站、服务器或DNS服务器上将你的IP地址列入白名单。

    选择是无止境的,但一些安全服务阻挡了你的爬行,可能是。 词霸(Wordfence, 云飞扬,以及 失败禁止如果你没有意识到任何 安全软件 运行,最好是咨询你的IT部门。

总结

如果你在修复403 Forbidden错误时仍有困难,请不要犹豫,与我们联系。我们将非常乐意提供帮助!

常见问题

  • 多少人可以使用 "尖叫蛙 "许可证?

发表于:2022-09-01
更新日期: 2022-12-18

艾萨克-亚当斯-手的头像

艾萨克-亚当斯-汉斯

Isaac Adams-Hands是SEO North公司的SEO总监,该公司提供搜索引擎优化服务。作为一名搜索引擎优化专家,Isaac在网页搜索引擎优化、非网页搜索引擎优化和技术性搜索引擎优化方面拥有相当丰富的专业知识,这使他在竞争中占据了优势。
zh_CNChinese