サーチコンソール｜クロールエラーの確認方法と対処方法を解説

「クロールエラー」とはGoogleクローラーの巡回時に問題が発生し、ページがインデックスされないことを指します。

クロールエラー自体が検索順位に直接影響を与える可能性は少ないですが、重要なページやインデックスさせたいページがクローリングされていない場合は、検索結果に表示されないため改善する必要があります。

また、本来インデックスさせるべきページがインデックスされないことで、Googleが認識しているサイト全体のぺージ数が少なくなるため、SEO対策上の効果が出にくくなる可能性があります。

サーチコンソール内でクロールエラーが発生している場合は、「ページのインデックス登録レポート」の内容を確認し問題があれば改善するようにしましょう。

クロールエラーを確認するには、「ページのインデックス登録レポート」を確認します。

前提としてクロールエラー機能を使用するにはGoogleサーチコンソールへの登録が必要です。

【参考記事】

▼ クロールエラーの確認方法は以下のとおりです。

1. Googleサーチコンソールにログインします
2. ダッシュボード内の［インデックス作成］＞［ページ］をクリック
3. ページのインデックス登録レポートを確認する
   

クロールエラーが検出されると、「未登録」の項目にクロールエラーの数とエラーが発生した理由の件数が表示され、ページ下部に「ページがインデックスに登録されなかった理由」として、クロールエラーの理由・クロールエラーが起きているページ数などが表示されます。

理由をクリックすることで、クロールエラーが発生しインデックスされなかったURLが一覧で表示されます。

「ページのインデックス登録レポート」には、GoogleインデックスにおけるWEBサイト登録に影響を及ぼす恐れがある重要な問題が表示されます。

「ページのインデックス登録レポート」に表示されるエラーの種類と対処方法は以下のとおりです。

ステータスコードが500番台のエラーが出ていることを意味するエラーです。内部サーバーエラーや、サーバーの設定ミスがあった場合に多くみられるエラーです。

サーバーエラー（5xx）の該当ページはインデックスされてないため、重要なページでエラーを検出している場合は早急な対応が必要です。

【対処方法】

• サーバーの停止や過負荷、設定ミスなどの不具合がないかを確認する
• WordPressを使用している場合は、プラグインを停止して様子をみる
• 検索エンジンで該当URLを検索して500番台のエラー画面が表示された場合は、サーバー会社に問い合わせる

【関連記事】

サーバーから404が返されていない場合に起こるエラーです。

通常の404エラーはページが存在しない場合、「ページが見つかりません」という内容がエラーページに表示されます。

しかし、「送信されたURLはソフト404エラーのようです」または「除外：ソフト 404」が検出された場合は、本来存在しないページがステータスコード200（正常に動作していることを表すコード）で表示されます。

クローラーはこれをページと認識するため、無駄なクロールやインデックスがおこなわれてしまいます。

【対処方法】

• PHPなどのプログラムをチェックして常に404コードを返すように設定する
• URLの記述間違いがないか確認する
• 外部サイトからのリンクにスペルミスがある場合は301リダイレクトで正しいURLに転送する

401エラーは、クローラーによるWEBサイトへのアクセスが、何らかの原因でブロックされている状態のときに表示されます。

【対処方法】

• txtファイルがGoogleのアクセスをブロックする設定になっていないかどうかを確認する
• URL検査ツール（旧 Fetch as Google）を使用してWEBサイトがGoogleからどのように認識されているかを確認する
• ホスティングプロバイダーにクローラーの巡回がブロックされていないかを確認する

Googlebotがアクセスしようとしたページが存在しないときに、表示されるエラー（404エラー）です。
外部サイトからのリンクを辿って、クローラーがアクセスした際に、以前は存在していたぺージが現在は存在していない場合に発生します。

Googlebotはこのような場合でも一定期間アクセスを続けますが、アクセスを禁止する方法はありません。

また、これ自体が問題になることはありません。ただしページを移転させた場合は対処する必要があります。

【対処方法】

• ページを移転した場合は、301リダイレクトで正しいページに導くようにする
• 削除済みのページのリンクは削除する

【関連記事】

正しく対処したら【修正を検証】のリクエストをGoogleに送信しましょう。

以下の項目はインデックスが未登録の状態ですが、クロールエラーが原因ではありません。

■ URLにnoindexが指定されています
URLにnoindexタグが使用されている場合は、ユーザー側でインデックスを拒否しているため、Googlebotはインデックス登録をおこないません。

■ URLがrobots.txtによってブロックされています
ユーザー側が、robots.txt によってGoogleのクローラーを拒否しているため、インデックス登録をされません。

■ クロール済み - インデックス未登録
Googlebotはクローリングしていますが、まだインデックスされていない状態です。
一定の期間がたってもインデックスされない場合は、ページのコンテンツなどを見直してみましょう。

■ 検出 - インデックス未登録
GoogleによってURLは発見されていますが、クローリング前の状態です。
サイトへの負荷が高いと判断されて再クローリングが必要になった場合に表示されます。

■ 代替ページ（適切な canonical タグあり）
canonicalタグによって正規ページが指定されているためインデックスされません。
指定したページがインデックスされているのであればこのままで問題ありません。

■ ページにリダイレクトがあります
301や302の設定をおこない、リダイレクトした元ページのURLが表示されます。
リダイレクト先のURLがインデックスされていれば問題ありません。

「ページのインデックス登録レポート」に表示されるクロールエラーは、直接検索順位に影響するものではありません。しかし、クロールエラーの内容によっては、Webサイトに「ページが見つかりません」といった表示が増えて、ユーザーの混乱や離脱を招く可能性があります。

Googleサーチコンソールを使ってクロールエラーの有無を定期的に確認し、重要なページが正常にクロールされていない場合は早急に対処しましょう。

以上、Googleサーチコンソールでクロールエラーを確認する方法、エラーの種類や対処方法についての解説でした。