なぜScreaming FrogはすべてのURLをクロールしないのですか?

Screaming Frogは、ウェブサイトをクロールしてデータを抽出する優れたツールですが、もし、すべての URLでは、質の高いSEO監査は行えません。このブログ記事では、Screaming FrogがすべてのURLをクロールしない理由と、その問題を解決する方法について検証します。もしあなたがScreaming FrogがすべてのURLをクロールするのに問題があるのなら、ご期待ください。お楽しみに

蛙の子は鼠を這わない
アイザック・アダムス・ハンズ - なぜScreaming FrogはすべてのURLをクロールしないのですか?

Screaming FrogがすべてのURLをクロールしないのを修正する方法

Screaming Frogがウェブサイト上のすべてのURLをクロールしていない理由はいくつかあります。 ウェブサイト最も一般的なのは、Screaming Frogのようなクローラーをブロックするようにウェブサイトが設定されている場合です。

  1. robots.txtでブロックされています。

    リスペクトノウインデックス

    Robots.txtでブロックできること スクリーミングフロッグ をクロールから除外することができます。SEO Spiderがrobots.txtを無視するように設定するには、次のページに移動します。 設定 >> Spider >> アドバンスド >> チェックをはずす リスペクトNoindex を設定します。

    Robots.txt robots.txtは、ウェブクローラー(ボット)に対して、アクセスを許可する範囲を指示するために使用されます。robots.txtで禁止されているページにボットがアクセスしようとすると、ウェブマスターがこのページのクロールを望んでいないことを示すメッセージを受け取ります。場合によっては、これは意図的なものである可能性もあります。たとえば、サイトの所有者は、ボットが機密情報をインデックスするのを防ぎたいと思うかもしれません。また、単に見落としが原因である場合もあります。理由の如何にかかわらず、robots.txtによってブロックされたサイトは、クロールしようとする人がアクセスできないようになります。

  2. nofollow」属性は、クロールされないリンクに存在します。

    ノーフォローリンク

    Nofollowリンクは意図したとおりの働きをします。 ハイジャック犯 リンクをたどらないようにします。もし、ページ上のすべてのリンクがnofollowに設定されている場合、Screaming Frogは行き場を失います。これを回避するために、screaming frogが内部nofollowリンクをたどるように設定することができます。

    で更新することができます。 コンフィギュレーション >> スパイダー の下に クロールタブをクリックします。 フォロー内部'nofollow' のリンクです。

  3. このページには、ページレベルの 'nofollow' 属性が設定されています。

    リスペクトノウインデックス

    があります。 ページレベルnofollow属性 は、HTTP ヘッダーの meta robots タグまたは X-Robots-Tag によって設定されます。これらは、「ディレクティブ」タブの「Nofollow」フィルターで確認することができます。ページレベルのnofollow属性は、検索エンジンがページ上のリンクを辿らないようにするために使用されます。

    これは、信頼性の低い、あるいは重要でない情報源へのリンクを含むページに有効です。nofollow属性を設定することで、検索エンジンにページ上のリンクをたどるなということを伝えることになります。これにより、サイトの検索エンジンランキングは向上しますが、ウェブサイトのクロールは停止します。

    Noindexタグを無視するには、次のようにします。 設定 >> Spider >> アドバンスド >> チェックをはずす その noindexを尊重する を設定します。

  4. User-Agentがブロックされています。

    ユーザーエージェントの設定

    があります。 ユーザーエージェント は、お使いのブラウザから訪問先のウェブサイトに送信されるテキスト文字列です。ユーザーエージェントは、お客様のブラウザ、オペレーティングシステム、さらにお客様のデバイスに関する情報を提供することができます。この情報に基づいて、ウェブサイトはその動作を変更することができます。例えば、お客様がモバイル端末を使用してウェブサイトを訪問した場合、ウェブサイトはお客様をモバイルフレンドリーバージョンにリダイレクトすることがあります。あるいは、ユーザーエージェントを変更して別のブラウザーのふりをした場合、実際のブラウザーでは利用できない機能にアクセスできるようになることがあります。同様に 一部のサイトでは、特定のブラウザを完全にブロックする場合があります。.User-Agentを変更することで、サイトの動作を変更することができ、ブラウジングをより自由にコントロールすることができます。

    でUser-Agentを変更することができます。 設定 >> User-Agent.

  5. このサイトではJavaScriptを使用しています。

    スクリーミングフロッグ javascript レンダリング

    ジャバスクリプト は、インタラクティブなウェブページを作成するためによく使われるプログラミング言語です。JavaScriptを有効にすると、ページが読み込まれたときに自動的に実行され、ページ全体を更新することなくページ上の項目を変更することが可能になります。例えば、ドロップダウンメニューを作成したり、ユーザーの入力に応じて画像を表示したりと、さまざまな用途に活用できます。JavaScriptは有益なものですが、さまざまな理由から、ブラウザで無効にすることを好むユーザーもいます。その理由のひとつは、JavaScriptがユーザーの閲覧履歴を追跡するのに使われる可能性があることです。しかし JavaScriptを無効にすると、ウェブサイトの表示や特定の機能の動作に問題が生じることがあります。.

    トライ javascriptのレンダリングを有効にする in Screaming Frog under 設定」→「Spider」→「レンダリング」。

  6. このサイトでは、Cookieを使用しています。

    クッキー記憶装置

    ブラウザのCookieを無効にしてサイトを見ることはできますか?ライセンスをお持ちの方は、以下の方法でCookieを有効にすることができます。 コンフィギュレーション >> スパイダー を選択し セッションのみクッキーの保存 において 詳細設定タブ.

  7. 本サイトではフレームセットを使用しています。

    ミックスフレーム

    SEOスパイダーは、frame-src属性をクロールしません。

  8. Content-Typeヘッダーが、そのページがHTMLであることを示さなかった。

    無効なコンテンツタイプ

    これはContent欄に表示され、text/HTMLまたはapplication/xhtml+xmlのどちらかである必要があります。

結論

Screaming Frog SEOスパイダーは、ウェブサイトを監査するための優れたツールですが、すべてのURLがクロールされていることを確認することが重要です。監査から必要な完全なデータが得られていない場合、Screaming Frogの設定に問題がある可能性があります。このブログ記事では、Screaming FrogがすべてのURLをクロールしていない可能性がある理由と、その問題を解決する方法について見てきました。これらの問題を解決することで、Screaming Frogの監査からより包括的なデータを得ることができ、SEO戦略を改善することができます。ウェブサイト監査にScreaming Frogを使用してみたことがありますか?その機能を向上させるためのヒントを教えてください。

よくあるご質問

  • なぜScreaming FrogはすべてのURLをクロールしないのですか?

公開日: 2022-06-07
更新日: 2023-01-02

アイザック・アダムス=ハンズのアバター

アイザック・アダムス・ハンズ

アイザック・アダムス・ハンズは、検索エンジン最適化サービスを提供するSEO North社でSEOディレクターを務めています。SEOのプロフェッショナルとして、アイザックはオンページSEO、オフページSEO、テクニカルSEOの分野で豊富な専門知識を持ち、競合他社を圧倒している。
jaJapanese