なぜScreaming FrogはすべてのURLをクロールしないのですか?

Screaming Frog (https://www.screamingfrog.co.uk) is an excellent tool for crawling websites and extracting data, but if it’s not crawling all URL, you won’t be performing a quality technical SEO audit (auditing on-page meta descriptions, response codes, internal linking, checking duplicate contents, page titles, backlinks, alt texts, etc) on your e-commerce sites. In this blog post, we’ll examine why Screaming Frog isn’t crawling all URLs and how you can fix the issue. So, if you’re having trouble getting Screaming Frog to crawl all of your URLs, stay tuned! You’re in for a treat.

アイザック・アダムス・ハンズ - なぜScreaming FrogはすべてのURLをクロールしないのですか?

Screaming FrogがすべてのURLをクロールしないのを修正する方法

There are several reasons Screaming Frog may not crawl all subdomains on a ウェブサイト最も一般的なのは、Screaming Frogのようなクローラーをブロックするようにウェブサイトが設定されている場合です。

  1. robots.txtでブロックされています。


    Robots.txtでブロックできること スクリーミングフロッグ crawl pages. You can configure the SEO Spider to ignore robots.txt by going to コンフィギュレーション >> スパイダー >> アドバンスト >> チェックをはずす Respect Noindex を設定します。

    You can also change your ユーザーエージェント まで グーグルボット to see if the website allows that crawl.

    Robots.txt is used to instruct web crawlers, or “bots,” on what they are allowed to access on a given website. When a bot tries to access a page that is specifically disallowed in the robots.txt file, it will receive a message that the webmaster does not want this page crawled. In some cases, this may be intentional. For example, a site owner may want to prevent bots from indexing sensitive information. In other cases, it may simply be due to an oversight. Regardless of the reason, a site that is blocked by robots.txt will be inaccessible to anyone who tries to crawl it.

  2. nofollow」属性は、クロールされないリンクに存在します。


    Nofollowリンクは意図したとおりの働きをします。 ハイジャック犯 not to follow the links. If all links are set to nofollow on a page, then Screaming Frog has nowhere to go. To bypass this, you can set Screaming Frog to follow internal nofollow internal links.

    で更新することができます。 コンフィギュレーション >> スパイダー の下に クロールタブ by clicking on フォロー内部'nofollow' のリンクです。

  3. このページには、ページレベルの 'nofollow' 属性が設定されています。


    があります。 ページレベルnofollow属性 is set by either a meta robots tag or an X-Robots-Tag in the HTTP header. These can be seen in the “Directives” tab in the “Nofollow” filter. The page-level nofollow attribute is used to prevent search engines from following the links on a page.

    This is useful for pages that contain links to unreliable or unimportant sources. By setting the nofollow attribute, you are telling search engines that they should not follow the links on the page. This will help to improve your site’s search engine rankings but stop you from crawling the website.

    Noindexタグを無視するには、次のようにします。 コンフィギュレーション >> スパイダー >> アドバンスト >> チェックをはずす その noindexを尊重する を設定します。

  4. User-Agentがブロックされています。


    があります。 ユーザーエージェント は、お使いのブラウザから訪問先のウェブサイトに送信されるテキスト文字列です。ユーザーエージェントは、お客様のブラウザ、オペレーティングシステム、さらにお客様のデバイスに関する情報を提供することができます。この情報に基づいて、ウェブサイトはその動作を変更することができます。例えば、お客様がモバイル端末を使用してウェブサイトを訪問した場合、ウェブサイトはお客様をモバイルフレンドリーバージョンにリダイレクトすることがあります。あるいは、ユーザーエージェントを変更して別のブラウザーのふりをした場合、実際のブラウザーでは利用できない機能にアクセスできるようになることがあります。同様に 一部のサイトでは、特定のブラウザを完全にブロックする場合があります。.User-Agentを変更することで、サイトの動作を変更することができ、ブラウジングをより自由にコントロールすることができます。

    でUser-Agentを変更することができます。 コンフィギュレーション >> ユーザーエージェント.

  5. このサイトではJavaScriptを使用しています。

    スクリーミングフロッグ javascript レンダリング

    ジャバスクリプト is a programming language that is commonly used to create interactive web pages. When JavaScript is enabled, it can run automatically when a page is loaded, making it possible for items on the page to change without the need to refresh the entire page. For example, JavaScript can be used to create drop-down menus, display images based on user input, and much more. While JavaScript can be beneficial, some users prefer to disable it in their browser for various reasons. One reason is that JavaScript can be used to track a user’s browsing activity. However, disabling JavaScript can also lead to issues with how a website is displayed or how certain features work.

    トライ javascriptのレンダリングを有効にする in Screaming Frog under コンフィギュレーション >> スパイダー >> Rendering.

  6. このサイトでは、Cookieを使用しています。


    ブラウザのCookieを無効にしてサイトを見ることはできますか?ライセンスをお持ちの方は、以下の方法でCookieを有効にすることができます。 コンフィギュレーション >> スパイダー を選択し セッションのみクッキーの保存 において 詳細設定タブ.

  7. 本サイトではフレームセットを使用しています。



  8. Content-Typeヘッダーが、そのページがHTMLであることを示さなかった。




The Screaming Frog SEO spider can be an excellent tool for auditing your website, but it’s vital to ensure that all URLs are crawled. If you’re not getting the complete data that you need from your audits, there may be an issue with how Screaming Frog is configured. This blog post looked at why スクリーミングフロッグ might not be crawling all your URLs and how to fix the problem. By fixing these issues, you’ll be able to get more comprehensive data from your Screaming Frog audits and improve your SEO strategy. Have you tried using Screaming Frog for your website audits? What tips do you have for improving its functionality?


  • なぜScreaming FrogはすべてのURLをクロールしないのですか?

公開日: 2022-06-07
Updated on: 2024-04-05



アイザック・アダムス・ハンズは、検索エンジン最適化サービスを提供するSEO North社でSEOディレクターを務めています。SEOのプロフェッショナルとして、アイザックはオンページSEO、オフページSEO、テクニカルSEOの分野で豊富な専門知識を持ち、競合他社を圧倒している。