It can be very frustrating when you’re trying to crawl a website and suddenly see the timeout or 403 Forbidden error message. What do you do when you encounter the most common on-page messages on your screen: HTTP status code errors, bad requests, internal server errors, or HTTP response “no response” errors? How can you fix it? In this blog post, we’ll explain the 403 Forbidden error and provide some solutions to fix it. Stay tuned!
目次
403 Forbidden Errorとは何ですか？
403 Forbiddenステータスコードは、サーバー側のエラーで、以下のことを示します。 サーバー refuses to fulfill the request. This can be due to several reasons, including but not limited to: the request is being made for a resource that does not exist, the user does not have sufficient permissions to access the requested resource or the server is configured to ブロック requests from the user’s IP address.
理由の如何に関わらず、403 Forbiddenエラーは、ユーザーが要求したものにアクセスすることを妨げる。 リソース.場合によっては、サーバーがアクセス可能な別のページやリソースへのリダイレクトを提供することもありますが、ユーザーが問題を解決するためにウェブサイトの所有者や管理者に連絡する必要がある場合もあります。いずれにせよ、403 Forbiddenエラーは、すべてのユーザーをイライラさせます。 ユーザー それに出会った人は
Screaming Frogで403 forbidden status codeエラーを修正する方法
ページが終了しない
Plausible cause 1: The request is being made for a resource that does not exist
Webページが存在することを確認する必要があります。これは、ブラウザでURLを開くことで行えます。
このテストは、ウェブページがブラウザから到達可能かどうかを示すものです。
要認証
Plausible cause 2: The user does not have sufficient permissions to access the requested resource.
場合によっては、ページがパスワードで保護されていることがあります。そのページをクロールするために、ユーザー名とパスワードをScreaming Frogのモーダルポップアップに入力する必要があります。
サーバーがあなたをブロックしています
Plausible cause 3: The server is configured to block requests from the user’s IPアドレス.
ブラウザを使ってお客様のコンピュータでウェブページを閲覧できる場合は、ウェブサイトがボット（クローラー）をブロックしていることを意味し、孤立した事象であると言えます。
クローリング速度の低下
解決策1． クロールの速度が速すぎたり、積極的にクロールするように設定されている可能性があります。
アグレッシブスキャンを修正するには、クロールレートを下げる必要があります。
コンフィギュレーション >> スピード >> Spider Speed Configuration
クロールレートを下げると、スキャンにかかる時間が長くなり、サーバーリソースの負荷が軽減されます。
ユーザーエージェントを変更する
解決策2． ウェブサイトがScreaming Frog Crawlerをブロックしている場合は、以下のように変更します。 ユーザーエージェント をScreaming Frogで紹介します。
コンフィギュレーション >> ユーザーエージェント >> Present User-Agents
以外をブロックするように設定されているサーバーもあります。 グーグルボット.
IPを変更する
解決策3． IPアドレスの変更
サーバーがお客様のIPアドレスをブロックしている可能性がありますので、別のインターネットサービスプロバイダからクロールを試すのが一番です。
職場で、IPアドレスを変更したい場合は、自宅からクロールを試してみてください。自宅にいる場合は、インターネットの環境が整った喫茶店で試してみてください。外出できない場合は、パソコンとスマホのテザリングを試してみてください。場所を変えることで、トラブルシューティングを行い、あなたのIPがブロックされているかどうかを判断することができます。
結論
Encountering a 403 Forbidden error while using Screaming Frog SEO Spider can be a frustrating hurdle in the pursuit of optimizing a website’s performance.
However, armed with an understanding of its causes and solutions, one can effectively navigate through this issue. By addressing potential factors such as non-existent pages, authentication requirements, server restrictions, and クロール speed, users can troubleshoot and resolve this error efficiently.
Additionally, implementing strategies like changing User-Agent, IP address, or whitelisting can further mitigate such obstacles. By leveraging the functionalities within Screaming Frog, users can enhance their technical SEO endeavors, ensuring smoother crawling experiences and facilitating the optimization process.
Remember to verify internal configurations, check robots.txt files, address broken links, and utilize meta tags like canonical and nofollow to bolster search engine visibility. By staying informed and proactive in managing client errors like the 403 Forbidden status code, webmasters can navigate through technical challenges, fostering a more optimized and seamlessly accessible online presence.
For more detailed guidance on addressing technical SEO issues, explore the resources available on screamingfrog.co.uk and utilize tools such as the Response Codes tab within the Screaming Frog interface. With diligence and strategic implementation of solutions, users can overcome hurdles and propel their websites toward greater visibility and success in the digital landscape.
Don’t hesitate to contact us if you still have trouble fixing the 403 Forbidden error. We’ll be more than happy to help out!
よくあるご質問
Screaming Frogのライセンスは何人で使用できますか？
公開日： 2022-09-01
Updated on: 2024-04-10
Japanese 
English 
Portuguese 
French 
Spanish 
Chinese