Screaming Frogのインデックス化されていないURLの修正

インデクサビリティステータスコード

主な索引性ステータスコードとして、2XX、3XX、4XX、5XXの4つが存在する。

200コード: 検索エンジンが正常にページにアクセスできること。
301コード: ページは恒久的に新しい場所に移動しました。
302コード: ページは一時的に新しい場所に移動しました。
404コード ページが見つかりませんでした。
500コード: サーバーにエラーが発生しました。

これらのコードは、検索エンジンがあなたのウェブサイトとどのように相互作用するかを理解するために不可欠です。

これらのインデクサビリティステータスコードを理解することで、あなたのウェブサイトをスキャンする際にscream frogがどのようにエラーを発生させるかをよりよく制御することができます。

200 ステータスコード

多くの場合、Webサイトにno-indexタグが適用され、インデックス不可の状態になっています。

WordPressのウェブサイトをお持ちの方は、ご確認ください。 設定 >> 読み取り >> 検索エンジンの可視化 にチェックを入れて、Webサイトがno-indexに設定されているかどうかを確認します。

それでも解決しない場合は、個々のページにno-indexタグがあるかどうかを確認します。Yoastプラグインを使用している場合は、ページレベルで以下のように確認できます。 詳細 >> 検索エンジンがこのページを検索結果に表示することを許可しますか？

Robots.TXTファイルは、ドメイン名の後にdomain.com/robots.txtと入力すると、ウェブサイト上で確認することができます。を探すことになります。 を不許可とする。/ を設定します。

最後に、あなたのページのcanonicalタグを見ることができます。

ブラウザのURLと rel="canonical tag" が一致する必要があります。もしそれらが正しくない場合（例． レル がHTTPに設定され、ウェブページがHTTPSに設定されている場合）、URLを修正するために Better Search 'n Replace プラグイン.

3XX エラーコード

3XXのエラーコードが表示された場合、URLはリダイレクトされます。お客様のWebサイトでURLのリダイレクトを手動で修正するか、または プラグイン.3XXエラーは、検索エンジンが最終目的地までしかインデックスできないことを意味します。

404エラーコード

4XXエラーが発生している場合、リンクを手動で修正するか、Redirectionなどのプラグインを使用します。404エラーは、「404」であるためインデックスされない。 "Page Not Found" の警告ページです。

403エラーは、ほとんどの場合、セキュリティや安全上の理由から、外部のウェブサイトがクローラーをブロックしていることを示します。

5XX エラーコード

5XXエラーコードは、Internal Server Errorが発生したことを意味します。このエラーは、Screaming Frogのスキャン速度が速すぎてサーバーが追いつかず、サーバーリソース（メモリ）を使い果たし、過負荷になることで一般的に発生します。

このエラーを解決するには、Webサイトのサーバーをアップグレードするか、クローラーがWebサイトをスキャンする速度を遅くする必要があります。

Screaming Frogでは、クロール速度を更新するために、次のページにアクセスします。 Configuration >> Speed >> Max Thread.