Screaming Frog 403 Forbidden エラー

ページが終了しない

原因1：存在しないリソースに対してリクエストが行われている 

Webページが存在することを確認する必要があります。これは、ブラウザでURLを開くことで行えます。

このテストは、ウェブページがブラウザから到達可能かどうかを示すものです。

要認証

考えられる原因2：ユーザーが要求されたリソースにアクセスするための十分な権限を持っていない。

場合によっては、ページがパスワードで保護されていることがあります。そのページをクロールするために、ユーザー名とパスワードをScreaming Frogのモーダルポップアップに入力する必要があります。

サーバーがあなたをブロックしています

考えられる原因3：サーバーが、ユーザーからのリクエストをブロックするように設定されている。 IPアドレス.

ブラウザを使ってお客様のコンピュータでウェブページを閲覧できる場合は、ウェブサイトがボット（クローラー）をブロックしていることを意味し、孤立した事象であると言えます。

クローリング速度の低下

解決策1． クロールの速度が速すぎたり、積極的にクロールするように設定されている可能性があります。

アグレッシブスキャンを修正するには、クロールレートを下げる必要があります。

設定 >> スピード >> スパイダースピード設定

クロールレートを下げると、スキャンにかかる時間が長くなり、サーバーリソースの負荷が軽減されます。

ユーザーエージェントを変更する

解決策2． ウェブサイトがScreaming Frog Crawlerをブロックしている場合は、以下のように変更します。 ユーザーエージェント をScreaming Frogで紹介します。

設定 >> ユーザーエージェント >> プレゼントユーザーエージェント

以外をブロックするように設定されているサーバーもあります。 グーグルボット.

IPを変更する

解決策3． IPアドレスの変更

サーバーがお客様のIPアドレスをブロックしている可能性がありますので、別のインターネットサービスプロバイダからクロールを試すのが一番です。

職場で、IPアドレスを変更したい場合は、自宅からクロールを試してみてください。自宅にいる場合は、インターネットの環境が整った喫茶店で試してみてください。外出できない場合は、パソコンとスマホのテザリングを試してみてください。場所を変えることで、トラブルシューティングを行い、あなたのIPがブロックされているかどうかを判断することができます。

IPをホワイトリストに登録する

解決策4． サーバーまたはウェブサイトにおけるお客様のIPアドレスのホワイトリスト登録

ウェブサイト、サーバー、またはDNSサーバーで、可能な限りIPアドレスをホワイトリストに登録することができます。

選択肢は無限にありますが、あなたのクロールをブロックするいくつかのセキュリティサービスは可能性があります： ワードフェンス, クラウドフレアそして フェイルツーバンを意識していない場合。 セキュリティソフト を実行している場合は、IT部門に相談するのが一番です。