SEO対策 Googleにインデックスされない原因と対処法12選

インデックスされない原因の多くは、GoogleのクローラーがURLを発見していないことが原因です。

クローラーはWEBサイト上のリンクを辿って新しいURLを発見し自動でインデックスさせます。
そのため、新しいサイトや、外部対策をしていないサイトの場合は、他サイトとリンクで繋がっていないことが多くクローラーが発見できないため、インデックスがされづらい状態となります。

次に多い原因としては、HTMLの記述ミスや、robots.txtの設定ミスによりクローラーの巡回やインデックスをサイト運営者側で拒否している場合です。この場合はクローラーに「命令」として指示をしているため当然インデックスはされません。

また、重複コンテンツや、ペナルティが原因でインデックスされないケースも稀にあります。

自分のサイト、もしくはページがインデックスされない場合にすぐに原因を発見できるように、インデックスされない原因12項目について1つ1つ解説していきます。

1. 新規ドメインの為クローラーにURLを発見されていない
2. 内部リンクが適切にされていない
3. noindexの設定をしている
4. 別のページにリダイレクトしている
5. canonicalタグで別のページを正規ページとして指定している
6. サーバー側でGoogleのクローラーを拒否している
7. robots.txtでクロールを拒否している
8. Googleからペナルティを受けている
9. コンテンツの品質が低い
10. 重複コンテンツがある
11. 認証が必要なページ
12. ネットワークによる問題や技術的な問題がある

最後まで読むことで、誰でも完璧に理解できるように説明しているのでこの機会に是非覚えてみてください。

新規ドメインがインデックスされない原因の殆どは、クローラーにURLを発見されていないためです。検索エンジンのクローラーは、インターネット上に存在するページに貼られたリンクを辿って、サイトやページのURLを検出しています。

新規ドメインのサイトは、外部サイトとリンクで繋がっていないケースが多く、クローラーから発見されにくいため、インデックスされるまでに時間がかかる場合があります。

新規に公開したサイトを早くインデックスさせたい場合は、サーチコンソールから「xmlサイトマップ」を送信するか、「URL検査ツール」からURLを送信しましょう。

ただし、新規ドメインだという理由でページがインデックスされないわけではありません。

 ▼ XMLサイトマップについてや、作成方法については下記のページで解説しています。

▼ サーチコンソールから、XMLサイトマップを送信する方法については下記のページで解説しています。

ページに内部リンクが適切に設置されていないと、クローラーがページのURLを検出できず、インデックスされない場合があります。

適切に設置されていないとは、「正規化されたURLでない場合」「リンクが切れている」「各カテゴリ傘下にあるページが、内部リンクで必要なページ同士が繋がっていない」などが挙げられます。

対応方法は、サイト内に新しいページを作成したら必ず主要なページからの内部リンクを設置することです。

サイト内で主要なページはクロール頻度が高いため、新しいページへの内部リンクを設置することで次回クロールする際に、新しいページのURLを発見してインデックスされるようになります。

ただし、新しいURLをクローラーが発見する方法は、内部リンクを辿る以外の方法もあるため、内部リンクが設置していないことを理由として、インデックスされないわけではありません。

ページにnoindexタグの設定をしている場合も、インデックスされません。HTMLに、noindexタグを記述すると「クローラーにインデックスさせないで欲しい」と指令を送ることになるため、インデックスされない状態となります。

noindexタグは、管理画面のURLや低品質なページなど、検索結果に表示させたくない場合に使用するタグになります。

例えば、「ページアップ前のテストページにnoindexタグを設定していたが、公開後にnoindexタグを削除し忘れ公開していた」というケースも稀に見かけます。

また、リニューアル時にテスト環境で設定したnoindexタグを本番環境にアップする際に消し忘れてしまっているケースも稀に見かけます。noindexタグが設定されている場合は、100％インデックスされないため間違って記述していないか確認しましょう。

尚、noindexが設定されているかどうかを確認するには、Googleサーチコンソールのインデックス登録レポート上で確認できます。レポートには、「URLにnoindexが指定されています」と表示されます。

▼ noindexタグについては下記のページで解説しています。

301や302リダイレクトにより、別のページにリダイレクトしている場合、リダイレクト元のページがインデックスされない場合があります。

誤ってリダイレクトの設定をしてしまい、インデックスさせたいページがインデックスから削除された場合は、リダイレクトの設定を解除した上で、サーチコンソールのURL検査からインデックスリクエストをおこなうことで再度インデックスされるようになります。

▼ リダイレクトが原因で、インデックスがされていない場合の確認方法は以下になります。

1. Googleサーチコンソールの「インデックス作成」→「ページ」に進む
2. 「ページがインデックス登録されなかった理由」に「ページにリダイレクトがあります」と表示されます。

canonicalタグで、別のページを正規ページとして指定している場合、非正規ページはインデックスされない可能性があります。

canonicalタグは、ページが重複している場合に正規URLを指定するタグです。間違えてcanonicalタグを設定した場合、設定されたURLはインデックスされません。

canonicalタグの設定が原因で、インデックスされなかったページを確認するには、Googleサーチコンソールの「インデックス作成」→「ページ」で表示されるレポートで確認できます。

レポートには「代替ページ（適切なcanonicalタグあり）」と表示されます。

 ▼ canonicalタグについては下記のページで解説しています。

サーバー側の設定でクローラーを拒否している場合も、インデックスされない原因となります。
よくあるケースとしては、サーバー側で海外のIPアドレスを拒否しているケースです。

Googlebotは、アメリカのIPアドレスからサイトにアクセスしているため、サーバー側で海外のIPアドレスからのアクセスを拒否した場合、Googlebotがサイトにアクセスできずページを読み込めないためインデックスすることができません。

サーバー会社によっては初期設定で海外IPを遮断してる場合があるため、サイト公開後インデックスされない場合はサーバー側の設定を確認してみましょう。

また、任意で海外からのアクセスを拒否したい場合は、Googlebotからのアクセスは許可するように設定しましょう。

 robots.txtでクロールを拒否している場合も、インデックスされません。

robots.txt内に「Disallow」でURLを指定した場合、指定されたURLとURLに紐づく下層のURLはGooglebotのクロールを拒否するためです。

Googleサーチコンソールのページインデックスレポートには、「URLがrobots.txtによってブロックされています。」と表示されます。

ただし、Googleの判断でページがインデックスされる場合があります。

この場合は、Googleサーチコンソールのレポートに「robots.txt によりブロックされましたが、インデックスに登録しました」と表示されます。

このページはウェブサイトのrobots.txtファイルによりブロックされましたが、インデックスに登録されています。Google は常にrobots.txtの内容に従いますが、他のユーザーがページにリンクしている場合、必ずしもインデックス登録が回避されるわけではありません。Googleがページをリクエストおよびクロールすることはありませんが、ブロックされているページにリンクしているページの情報を使用して、インデックスに登録する可能性があります。また、robots.txt ルールが原因で、Google検索結果に表示されるこのページのスニペットの内容が非常に限られたものとなる可能性があります。

ページ インデックス登録レポート – Search Console ヘルプ

「robots.txt 」の記述内容を修正して再度アップロードすれば自動的にクローラーが巡回してインデックスされます。 

▼ robots.txtについては、下記のページで詳しく解説していますのでご覧ください。

Googleからペナルティを受けてしまったWEBサイトは、新たにページを追加してもインデックスされない可能性があります。

Googleはガイドラインで、スパム行為や検索結果を意図的に操作する行為を禁止しています。

ガイドラインに違反した場合は、「検索順位から特定のキーワードが検索結果から除外される」「サイトに関連するキーワード全てが検索結果から除外される」「インデックス自体が削除される」等のペナルティを与えられます。

ペナルティの確認方法は、サーチコンソールの「手動による対策」から確認できます。

通常は「問題は検出されませんでした」と表示されますが、ペナルティを受けた場合はメッセージが届きます。

ペナルティを受けた場合は、原因を修正した上でサーチコンソールから「再審査リクエスト」をおこない解除しましょう。

リクエストが承認された場合は、2週間～4週間程度でインデックスされます。

▼ Googleのペナルティについては下記のページで解説しています。

低品質なコンテンツは、インデックスされづらい傾向があります。なぜなら、内容が薄かったりユーザーにとって役に立たないコンテンツを検索結果に表示してもGoogleの信頼を低下させることに繋がるためです。

では、低品質なコンテンツとはどういったものでしょうか？

代表的な例を記載するので、インデックスされない場合は該当する項目が無いか確認してください。

• ツールなどで自動的に生成されたコンテンツ
• アフィリエイトリンクをクリックさせることだけを目的としたページ
• サイトの運営者の許可を得ずにコピーしたテキストを掲載したコンテンツ
• 外部ページへ誘導することだけを目的に作成されたページ

これらに該当する場合は、インデックスされない原因が低品質なコンテンツと考えられます。

また、低品質なコンテンツがあることでサイト全体の評価を下げる可能性があります。
低品質なコンテンツがサイト内にある場合はリライトやページの内容を見直しましょう。

サイト内でページ同士の内容が重複している場合は、どちらか片方のページしかインデックスされないケースがあります。

理由は、内容が同じであれば、どちらか片方だけを検索結果に表示させれば十分とGoogleが考えているためです。 

よくあるケースとして、

• エリアごとに似たようなぺージを作成している
• メディアサイト内で過去記事と重複したテーマで記事を書いてしまった

などがあります。

同じようなページを作っても、全てのページがインデックスされる訳では無いため無駄な労力となります。

Googleの検索セントラルにも以下のように記載されています。

Googleは、固有の情報を持つページをインデックスに登録して表示するよう努めています。たとえば、記事ごとに「通常」バージョンのサイトと「印刷」バージョンのサイトがあり、どちらもnoindexメタタグでブロックされていない場合、Googleはどちらか一方を選択して登録します。ごくまれなケースとして、Googleでのランキングの操作やユーザーへの偽装を意図した重複コンテンツが表示される可能性が認識された場合も、Googleでは関係するサイトのインデックス登録とランキングに対して適切な調整を行います。その場合、該当するサイトはランキングが低下するか、Googleインデックスから完全に削除されて検索結果に表示されなくなる可能性があります。

重複コンテンツの作成を避ける　Google検索セントラル

ただし、注意しなければならないのが、サービスの性質上仕方のない重複コンテンツの場合です。

例えば、オンラインショップの商品で、サイズ違いのページが複数あり、ページごとにURLも複数存在する場合などが該当します。

このように、ほとんど同じ内容のページがURL違いで複数存在するケースでは、canonicalタグを使いURLの正規化をおこなうのがベストプラクティスです。

▼ URLの正規化方法については以下で詳しく解説しています。ご確認ください。

有料ページや、ニュースページなどの閲覧にパスワードが必要な場合は、クローラーがページにアクセスできないためインデックスされない可能性があります。

パスワードが必要なページをインデックスさせたい場合は、「First Click Free」を使い、最初のページはパスワード不要でアクセス可能にし、対象コンテンツをインデックスされるようにする必要があります。

ネットワークによる問題や技術的な問題により、クローラーがページにアクセスできなかった場合は、インデックスされない場合があります。

Googleサーチコンソールのレポートには、「サーバーエラー（5xx）」と表示されます。

 ▼ 500エラーについては下記のページで解説しています。

Googleにインデックスされない原因を紹介してきましたが、インデックスされない殆どのケースがサイト側の問題です。

つまり、本記事を読みそれぞれの原因について深く理解することで、すぐに原因を解明することができ対策できるようになります。

今回はインデックスされない原因について解説しましたが、インデックスの仕組みやGoogleのインデックスを促進するやり方について詳しく知りたい方は別記事で詳しく纏めているため、本記事と合わせて読むことでより理解を深めることができます。

それでも原因が分からず、お困りの方は弊社に気軽にご相談ください。