在Screaming Frog中修复不可索引的URLs

可索引状态代码

有四个主要的可索引状态代码：2XX、3XX、4XX和5XX。

200代码：搜索引擎可以成功访问该网页。
301代码：该页已被永久地移到一个新的位置。
302代码：该页已被暂时移到一个新的位置。
404代码。 无法找到该页面。
500代码提示：服务器遇到客户端错误。

这些代码对于了解搜索引擎如何与你的网站互动至关重要。

了解这些可索引性状态代码可以让你更好地控制尖叫蛙在扫描你的网站时如何遇到错误。

200状态代码

在大多数情况下，一个无索引标签已经被应用到网站上，形成一个不可索引的状态。

如果你有一个WordPress网站，你可以查看 设置 >> 阅读 >> 搜索引擎可见性 来查看是否勾选了导致该网站被设置为无索引的方框。

如果这还不能解决你的问题，你可以检查个别页面是否有无索引标签；如果你使用Yoast插件，你可以在页面层面上检查在 高级 >> 允许搜索引擎在搜索结果中显示本页面？

你也可以检查你的Robots.TXT文件，它可以在你的网站上找到，方法是进入域名，然后是domain.com/robots.txt。你将寻找一个 不允许。/ 设置。

最后，你可以看一下你的页面的canonical标签

浏览器中的URL和 rel="canonical标签" 应该匹配。如果它们不正确（如：。 继电器 设置为 HTTP 而网页设置为 HTTPS），可以使用 更好的搜索'n 替换插件 或 Yoast 插件。

3XX错误代码

当你看到3XX错误代码时，URL被重定向了。你将需要手动修复你网站上的URL重定向，或者使用一个 插件.3XX错误意味着搜索引擎只能索引最终目的地。

404错误代码

如果你遇到了4XX错误，你可以手动修复链接，或使用像Redirection这样的插件。404错误是不可索引的，因为它们是 "找不到网页" 警告页。

403错误在大多数情况下表明，一个外部网站出于安全和保障的原因，阻挡了你的爬行程序。

5XX错误代码

5XX错误代码意味着发生了一个内部服务器错误。这个错误通常是由于Screaming Frog的扫描速度太快，服务器无法跟上而变得过载，耗尽了服务器资源（内存）。

为了解决这个错误，你可以升级你网站的服务器，或者减慢爬虫扫描你网站的速度。

在Screaming Frog中，您可以通过以下方式更新爬行速度 配置 >> 速度 >> 最大线程。