「クロール済み – インデックス未登録」とは？原因と大量に増加した場合の解決方法

【クロール済み - インデックス未登録の特徴】

クロール済み - インデックス未登録とは、Googleのクローラーがページをクロールしたにも関わらず何らかの理由でインデックスしていないことを意味します。

具体的には、低品質なページや重複コンテンツなど品質に関する問題があるページに対してや、RSSフィードやページネーションの2ページなど、検索結果に表示させる必要が無いページに対して発生します。

Googleはクロールしたページを全てインデックスする訳では無いため、「クロール済み - インデックス未登録」に表示されたURLが重要なページでない場合は気にする必要はありません。

ただし、検索結果に表示させたいページが該当する場合は、リライトやページ品質の改善・重複ページの削除などをおこなう必要があります。

クロール済み - インデックス未登録に表示されている以上、そのURLはインデックスされていないため、どのようなキーワードで検索しても検索結果には表示されません。

小規模サイトで検索結果に表示させる必要の無いページがクロール済み - インデックス未登録でも問題はありませんが、大規模サイトで大量のクロール済み - インデックス未登録が発生している場合は、以下2点で注意が必要です。

1. 低品質コンテンツによるクロール済みインデックスが大量にあるとサイト全体に悪影響がある
2. 本来得られるはずの検索流入が無くなる

1.に関しては、Google検索セントラルのヘルプフルコンテンツアップデートの説明にある通り、サイト内に低品質なページが多くある場合は、サイト全体の評価が低下するため上位表示できているキーワード群にも悪影響がでる可能性があります。

一方、有用でないコンテンツの量が比較的多い場合は、サイトの他のコンテンツが検索で上位に掲載されなくなる可能性が多かれ少なかれあります。

ヘルプフル コンテンツと Google 検索の検索結果に関するよくある質問

2.に関してはインデックスされていれば、ページのテーマに関連するキーワードでの検索流入のはずが、クロール済み - インデックス未登録になっているせいで流入が獲得できないという事です。

大規模サイトの場合は、1URLで獲得できる流入数は小さくても大規模なデータベースサイトになると、数万ページ以上インデックスされないケースもあるため、その影響度はとても大きいことがイメージできると思います。

ただし、クロール済み - インデックス未登録になっているページの属性や原因によっても影響度が大きく変わるため、大量に発生している場合はその原因を確認して、想定される影響によってどのような対応をおこなうのが良いのか考えましょう。

クロール済み - インデックス未登録を放置しても良いケースは、以下になります。

• RSSフィード
• パラメータ付きのURL
• ログイン後にしか見れないURL
• テスト環境/開発環境のURL
• feedページ
• コンテンツの無い画像ページ

これらのページはそもそもユーザーに見せたいページで無いため、インデックスさせる必要が無いページです。

そのため、これらのぺージがクロール済み - インデックス未登録に表示されていても前述したWEBサイトに与える悪影響が無いため、放置で問題ありません。

ただし、画像ページやfeedページが大量に発生してしまっている場合は、noindexタグを使ってインデックスをさせないようにしておきましょう。

クロール済み - インデックス未登録の詳細を、確認する方法を解説します。

▼ 以下手順に沿って進めることで、確認することができます。

1. Google Search Consoleにログインする
   （Googleサーチコンソールのログイン方法についてはこちら）
2. 左記「メニュー」の「ページ」をクリック
3. 右記の「ページがインデックスに登録されなかった理由」をクリック
4. 「クロール済み - インデックス未登録」をクリック
5. クロール後にインデックスされなかったURLの一覧が表示されます。
   

ここからが重要です。

実は、「クロール済み - インデックス未登録」の一覧に表示されるデータと実際のインデックスのステータスにはタイムラグがあります。

そこで、実際にインデックス未登録になっているかどうかを正確に確認するために「URL検査」をおこないます。

「クロール済み - インデックス未登録」の一覧に表示されたURLの上にマウスのカーソルを合わせると、アイコンが3つ表示されるので、虫眼鏡のアイコンをクリックして「URL検査」をおこないます。

URL検査が終わるとページのステータスが表示されるので、「クロール済み - インデックス未登録」になっているか確認します。

このように、ページインデックス登録レポートに「クロール済み - インデックス未登録」が表示されていたら、必ず「URL検査ツール」を使ってステータスを確認しましょう。

「クロール済み - インデックス未登録」になる原因は、以下の6つです。

1. 低品質なコンテンツ
2. 重複コンテンツ
3. 構造化データのエラー
4. 閲覧が拒否されているコンテンツ
5. ページネーションの2ページ目以降
6. Google Search Consoleの誤表示

それぞれ詳しく解説します。

「クロール済み - インデックス未登録」になる原因の1つ目は、コンテンツの品質が低品質と認識された場合です。

Googleは、ユーザーにとって価値が高く役立つページを検索結果に表示させます。

例えば、

• 「他サイトのページを殆どコピーして作ったページ」
• 「自動生成ツールを使って作成したページ」
• 「情報量が少ないページ」
• 「メインコンテンツよりも広告が多いページ」

など、ユーザーに価値を提供しないページが該当します。

低品質なコンテンツが原因で「クロール済み - インデックス未登録」が大量に発生している場合は、WEBサイト全体のランキングに影響が出るため後述する方法で改善が必要となります。

「クロール済み - インデックス未登録」になる原因の2つ目は、重複コンテンツと認識された場合です。

ここで言う重複コンテンツとは、検索意図が重複しているページのことではなく、「wwwの有無」や「/の有無」、商品ページのカラー違いなどURLの正規化が必要なページの重複を指します。

▼ 具体的には、以下のようなケースです。

【ケース① URLの重複】

【ケース② 同一商品カラー違い】

このようなケースの場合は、URLの正規化をおこなっておきましょう。やり方は後述致します。

「クロール済み - インデックス未登録」になる原因の3つ目は、構造化データのエラーです。

構造化データとは、検索エンジンがコンテンツの内容を正確に理解できるようにするためにhtmlで記述するデータのことです。

構造化データのマークアップをおこなう際に間違った記述をおこなうと、Googleがページの内容を間違って解釈してしまうため、インデックスされずに「クロール済み - インデックス未登録」に表示される事があります。

構造化データのエラーは手動ペナルティになる事もあるため、構造化データをマークアップしたらリッチリザルトテストなどのツールを使って確認するようにしましょう。

「クロール済み - インデックス未登録」になる原因の4つ目は、閲覧が拒否されているコンテンツです。閲覧が拒否されているページとは、テスト環境やログイン後にアクセスできるページのことです。

何かしらの理由で通常は見る事ができないページをGoogleがクロールすると、「クロール済み - インデックス未登録」に表示されることがあります。

このように、Googleにクロールされたくないページがクロールされてしまった場合は、該当するページへの内部リンクの削除をおこなった上で、robots.txtファイルのdisallowにURLを記述してクロールを拒否しておきましょう。

「クロール済み - インデックス未登録」になる原因の5つ目は、ページネーションの2ページ目以降が重複コンテンツと判断されている場合です。

通常、商品一覧ページや記事一覧ページでは1ページ目あたりに掲載する情報の数をコントロールするためにページネーションを利用します。

【例】

• https://aaa.com/product/page1
• https://aaa.com/product/page2

一覧ページのコンテンツは、1ページ目とそれ以降のページで類似する事が多いため、Googleはページネーションの2ページ目以降をインデックスしない場合があります。

元々ページネーションの2ページ目以降にも流入があったのにも関わらず、「クロール済み - インデックス未登録」になってしまった場合を除いて放置で問題ありません。

「クロール済み - インデックス未登録」になる原因の6つ目は、Google Search Consoleの誤表示です。

これは、「クロール済み - インデックス未登録」のURL一覧に表示されているにも関わらず、実際に検索すると検索結果画面に表示されていたり、URL検索ツールでは、「URLはGoogleに登録されています」と表示されるケースです。

前述した通り、Google Search Consoleのページ登録インデックスレポートのステータスと、URL検索ツールのステータスにはタイムラグが発生することがあるため、このような間違った表示をすることがあります。

そのため、実際に検索結果に表示されているのであれば気にする必要はありません。

Google Search Consoleに、「クロール済み - インデックス未登録」が表示された場合の解決方法は以下になります。

• ページの品質を改善する
• 301リダイレクトで統合する
• canonicalを使うで正規URL指定をおこなう
• 削除する

発生原因によっても解決方法が異なるので、それぞれ確認してみてください。

低品質なページが原因で「クロール済み - インデックス未登録」になっている場合は、ページの品質を改善します。記事ページであればリライトをおこない、独自性が高くユーザーニーズに答える内容に修正することで簡単に解決することができます。

一方で、データベース型のサイトの一覧ページの場合は少し工夫が必要です。データベース型サイトの場合は情報不足による低品質というよりも、一覧ページの情報がサイト内で重複することによる低品質判定が多くなります。

そのため、各ページ独自のtitleタグやh1タグを設定するのは当然ながら、一覧ページに表示するオススメ情報やランキング情報などのサブコンテンツを各ページごとに変えるなど、開発側で少しでもページごとに独自性を持たせる工夫が必要です。

URLの「/」ありなしや、「www」ありなしによる重複が原因で「クロール済み - インデックス未登録」になっている場合は、どちらかのURLにページを統合してURLの正規化をおこないましょう。

URLの正規化は、301リダイレクトを使っておこないます。

301リダイレクトを使ってページを統合すると、「クロール済み - インデックス未登録」のURL一覧からURLが消え今度は、「ページにリダイレクトがあります」というステータスに表示されるようになりますが、これはエラーではなく正常なステータスになるため気にしなくて大丈夫です。

同一商品のカラー違いのURLがある事による重複や、ページネーションの2ページ以降の重複が原因で「クロール済み - インデックス未登録」になっている場合は、canonicalタグを利用してURLを正規化しましょう。

301リダイレクトとの使い分け方としては、ユーザーにページを見せる必要があるかどうかです。「/」あり無しは、どちらか片方のページを表示すれば良いですが、商品ページやページネーションはぺージを表示させる必要があるため、canonailタグを使って「クロール済み - インデックス未登録」を解決します。

ただし、canonicalを使って正規化した場合、結局正規URLに指定されたページしかインデックスされません。そのため、どうしても各ぺージをインデックスしたい場合は、それぞれのぺージに対して独自性のあるコンテンツを入れてぺージの評価を高める必要があります。

低品質なページや重複しているページの品質を改善するのが難しい場合や、そもそも流入が期待できないページの場合は、ぺージを削除して「クロール済み - インデックス未登録」を回避しましょう。

ページの削除は404エラーが帰ってくる状態にすればOKです。また、低品質なページながらページ自体を削除をしたくない場合は、noindexタグを使ってクローラーに対してインデックスを拒否する指示をおこないましょう。

Googleはnoindexタグが設定されたページを存在しないページとして扱うため、「クロール済み - インデックス未登録」のステータスから削除されます。

ただし、削除やnoindexタグを設置するとそのページが持っていたSEO評価を全て失う事になります。被リンクを多く獲得しているページの場合は注意しましょう。

「クロール済み - インデックス未登録」で表示されるURLを修正したら、Google Search Consoleから修正した事を申請し、再度URLを検証してもらいます。

▼ 以下の手順で申請をおこないましょう。

1. ページインデックスレポートを開きます。
2. 「クロール済み - インデックス未登録」をクリックします。
3. 「修正を検証」をクリックします。

数日～1ヵ月程度で、Googleが検証をおこないステータスが更新されます。

URL単位で改善されたか確認したい場合は、URL検査から「インデックス登録をリクエスト」をおこない、インデックスされているか確認してみましょう。

「クロール済み - インデックス未登録」は発生原因や、サイトの規模によって影響度が大きく変わります。

特に大規模ポータルサイトの場合は、一覧ページの情報の重複や、詳細ページの情報が重複しやすいため、多くのページがクロール済み - インデックス未登録になりやすく、これを適切に対処するSEO施策が求められます。

サイト全体のページ数に対してインデックス率が低い場合や、中々インデックスされないお悩みがある場合は気軽にお問合せください。

弊社では、クロール・インデックスを改善するサービスの提供をおこなっています。