SEO対策 Googleインデックスとは？SEOへの影響と確認・登録方法

「Googleにインデックスされる」とは、どのような状態のことを指すのでしょうか。

インデックスの仕組みはGoogle・bingなど各検索エンジンごとに違いますが、本記事でGoogleのインデックスについて解説していきます。

Googleのインデックスとは、ページに含まれるテキストや画像・動画ファイル、metaタグ、属性などの情報が、Google検索エンジンのデータベースに登録されることを指します。

分かりやすく説明すると、ユーザーが知りたい情報をGoogleで検索した際に、最適な情報をすぐに検索結果に表示させられるよう、インターネット上に数えきれないほど存在する世界中のページをGoogleはデータベースに保存しています。

保存しているデータ量は、100,000,000ギガバイトを超えると言われています。

ページの情報をデータベースへ登録する作業は、クローラーと呼ばれるロボットが、WEBページの内部リンクや・外部リンクを辿り、新しいURLを自動で発見することでおこなわれます。

ページがインデックスされることで、検索結果に表示されるようになります。

検索結果に表示される仕組みは、ユーザーが検索するとGoogleはデータベースに格納された情報の中からアルゴリズムによる解析を使い、ユーザーの検索意図を満たす関連性が高いコンテンツを抽出し、検索結果に表示します。

検索結果に表示する際は、コンテンツの関連性だけではなく、ユーザーの所在地・使用言語・閲覧しているデバイスの情報も考慮した上で、ユーザーにとって最適なページを表示します。

そのため、ページ作成時に「ユーザーの検索意図にマッチしている」「モバイルデバイスでの操作性に優れている」「所在地を明確に記述する」などを反映させた上で、Googleにインデックスしてもらう必要があります。

では、Googleはどのような流れでインデックスするのでしょうか？
Googleはクローラーを使い、以下のような流れでURLをデータベースにインデックスしています。

【Googleがインデックスする流れ】

1. クロールキュー
2. クロール
3. レンダリング
4. インデックス

クロールキューとは、クローラーがクロールするべきURLの順番待ちの一覧として、リスト化したものです。

クローラーはページに貼られたリンクを辿ってクロールするべきURLを検出し、クロールキューにURLを追加します。

▼ クロールキューに、追加されるURLは以下になります。

• ページ内のURLから検出したURL
• 既存検出済みURL
• URL検索ツールでリクエストしたURL
• XMLサイトマップで送信したURL

ページを早くクロールしてもらいたい場合には、クローラーにページのURLを検出してもらうことが重要です。

クロールキューにURLを優先的に追加してもらうには、GoogleサーチコンソールのURL検査ツールを使ってリクエストをしましょう。ただし、同じURLのリクエストを繰り返し送っても、ページに変更点がなければリクエストは反映されません。

▼ URL検査の使い方は別記事で解説しているので参考にしてみてください。

クローラーは、WEB内にあるリンクを辿って新たなURLを発見していきます。クローラーがクロールキューに追加されたURLを取得すると、最初に対象サイトのrobots.txtファイルを読み取り、サイト制作者によって対象ページのクロールが禁止されていないかを確認します。

URLのクロールが禁止されている場合や、サイトにログインしないとアクセスできないURLの場合は、クロールしません。

クロールしても問題ない場合は、クローラーがサイト内を巡回し、ページやテキスト、画像、動画、ファイルなどの情報を収集してきます。

レンダリングとは、クローラーがHTMLやCSSで書かれたページの内容を、ユーザーが閲覧できるよう描画変換することです。

クローラーがページをレンダリングしないままクロールしようとすると、HTMLやCSSといったプログラミング言語の羅列となってしまい、どのようなコンテンツなのかを確認できません。

クローラーが視覚的にページの内容を確認することで、ユーザーに表示しても問題ないかどうかを判断できるようになります。

レンダリングを行い表示されたページの内容を、Googleのデータベースに登録します。

インデックスされるのは、ページのURLやtitleタグ、alt属性、ページに含まれるすべてのテキスト、画像、動画などさまざまな情報です。

ただし、以下のような場合にはページがインデックスされません。

• ページの品質が低い
• noindexタグでインデックスを禁止している
• サイトのデザインが原因でインデックス登録が困難な場合
• ページ内のコンテンツが自サイト内や他サイトと重複している

ページがインデックスされるまでには、数時間～数週間とさまざまです。

ページがインデックスされるのは、クローラーがサイトを巡回し、インデックスする必要があると判断したタイミングです。

時間が経過すればページをインデックスしてくれるわけではなく、数ヶ月、数年経過してもページがインデックスされない場合もあります。

サイトがクロールされた後に、ページがインデックスされていない場合には、インデックスされていない原因を確認しましょう。

ページがGoogleにインデックスされているかや、自サイト内のインデックスされているページ数はどのくらいあるのか？といった、インデックス状況を確認する方法は以下の3つです。

• URLをGoogleで検索する
• Google検索でsite:を使い確認する
• サーチコンソールで確認する

Googleの検索窓にページのURLを入力して検索することで、ページがインデックスされているかを確認できます。

URLを入力するのは、アドレスバーではなく「検索窓」です。アドレスバーに直接URLを入力した場合は、インデックスがされている、されていないに関わらずページが表示されてしまいます。

ページがインデックスされていれば、タイトルリンクが検索結果に表示されます。

インデックスされているかを確認できるのは、入力したURLのみなので複数のページがインデックスされているかを確認するには、1つ1つ入力が必要になり時間を要するので注意しましょう。

Google検索では、「site:」コマンドを使ってページがGoogleにインデックスされているかを確認できます。

サイト内のすべてのページのインデックス状況を確認する場合は、Googleの検索窓に「site:」に続けてサイトURLを入力します。

例）site:example.com

特定のディレクトリに含まれるページのインデックス状況を確認する場合は、Googleの検索窓に「site:」に続けてディレクトリ名を含めたサイトURLを入力します。

例）site:site:example.com/〇〇〇

どちらの場合も、検索結果にインデックスされているページのタイトルとディスクリプション、URLが表示されます。

また、サイトあるいはディレクトリ内で、インデックスされているページの数も表示されます。
ただし、検索結果に表示されるページの数が正しいとは限らないため、詳細を把握するには、Googleサーチコンソールの「インデックス作成」で調べることをおすすめします。

「site:」を使うことで、所有しているサイトだけでなく、競合サイトがインデックスされているかも確認が可能です。SEO対策をおこなう際に、どのくらいのページ差があるかを調べたい場合などに活用しましょう。

インデックス状況は、Googleサーチコンソールの「URL検査」と「インデックス作成」の「ページ」で確認ができます。

使い分けとしては、特定のページがインデックスされているかの確認は「URL検査」、インデックスされているページの数の確認は「インデックス作成」です。

どちらもインデックスされなかった理由が記載されるため、ページがインデックスされていない場合は、理由もあわせて確認し修正しましょう。

特定のページがインデックスされているかを確認する手順

1. Googleサーチコンソールにログイン
2. 「URL検査」をクリック
3. 確認したいページのURLを入力

ページがインデックスされていれば、「URLはGoogleに登録されています」と表示されます。

インデックスされていない場合は、「URLがGoogleに登録されていません」と表示されます。その他、インデックスに登録されなかった理由や、前回のクロール時間、クロール・インデックスを許可しているか、ユーザーが指定した正規URL、Googleが選択した正規URLも確認できます。

インデックスされているページの数を確認する手順

1. Googleサーチコンソールにログイン
2. 「インデックス作成」の「ページ」をクリック

インデックス未登録のページ数や、登録済みのページ数、ページがインデックスに登録されなかった理由が表示されます。

「インデックスに登録済みのページのデータを表示」をクリックすると、インデックス登録済みページのURLと、クロールされた時間が一覧表示されます。

「ページがインデックスに登録されなかった理由」に表示されている各項目をクリックすると、インデックス登録されていないページのURLと、クロールされた時間が一覧表示されます。

▼ インデックス作成とクロールエラーに関しては、別記事で解説しているので参考にしてみてください。

サーチコンソールのURL検査は、Googlebotに新しいURLを伝えたり、URL単位でインデックス状況を確認することが出来るツールです。

URL検査からリクエストをすることで、ページのURLがクロールキューに追加され、インデックスされやすくなります。

▼ URL検査からリクエストする手順は以下の通りです。

1. Googleサーチコンソールにログイン　
2. 「URL検査」をクリック
3. インデックスさせたいページのURLを入力
4. 「インデックス登録をリクエスト」をクリック

ページがインデックスされると、「URLはGoogleに登録されています」と表示されます。

【おすすめの利用シーン】新しいページを追加した場合
【作業時間】3分程度

XMLサイトマップをサーチコンソールから送信することで、URLをクローラーに伝えることが出来るため早くインデックスさせることができます。

また、XMLサイトマップはクローラーがクロールするページの範囲や、優先順位を指定できるため、クロールが効率化されインデックスされやすくなります。

XMLサイトマップは、ツールを使うことで簡単に作成することが出来ます。

【おすすめの利用シーン】サイトを新規に立ち上げた場合
【作業時間】10分程度

サイト内の主要なページに、インデックスさせたいページへの内部リンクを設置することで、クローラーがページを見つけやすくなり、インデックスの速度が早まります。

クローラーは定期的に、サイト内のインデックスされているページを巡回します。
ページを巡回した際に、<a href=“リンク先URL”>に記述されたURLを確認し、新しいURLを発見した場合はクロールキューに追加しインデックス登録の準備をします。

そのため、新しいページを作った際は、内部リンクを設置することでインデックスを早めることができます。

内部リンクを設定すると効果的な場所は、
「グローバルナビ」「パンくず」「フッター」「サイトナビ」「コンテンツページ」です。

また、内部リンクを設置する際は以下の事に注意して設定しましょう。

【内部リンクの貼り方のポイント】

• 分かりやすいアンカーテキスト設定をする
• クローラーが巡回しやすい場所に貼る

【おすすめの利用シーン】サイトを新規に立ち上げた場合・ページを追加した場合
【作業時間】サイトの構造やページにより変動

▼ 内部リンクについては、下記のページで解説しています。

外部リンクを獲得することも、インデックスをさせるために効果的な方法です。クローラーは、新しいサイトに貼られた外部へのリンクからも、新しいURLを発見します。

そのため、評価の高い外部サイトから自サイトに対してリンクを貼られた場合は、クローラーが外部サイトを巡回した際に、自サイトのURLを発見してインデックスが早まります。

ただし、他サイトからのリンクに、nofollowタグが設定してある場合は、クローラーはリンク先のURLを巡回しないため被リンクを獲得する際は注意しましょう。

▼ 被リンクを獲得する方法は以下の通りです。

• コンテンツによる自然なリンクの獲得
• 主体的にリンクを獲得する
• リンク切れの対策を行う

【おすすめの利用シーン】サイトを新規に立ち上げた場合
【作業時間】被リンクの獲得方法による

▼ 被リンクの概要及び被リンクを増やす方法は下記のページで解説しています。

インデックスを早める手順を紹介しましたが、紹介した手順をおこなってもページ自体の品質が低い場合は、クローラーが巡回したとしてもインデックスされません。

この項目では、スムーズにGooglebotにインデックスしてもらうためのポイントを紹介します。

直接インデックスを早める施策ではありませんが、ページタイトルをコンテンツの内容に合わせて設定することで、ページが正しく評価されるためクローラーがサイト内を巡回する頻度を高めることができます。

例えば、各ページのtitleタグが重複していて、クローラーが各ページのテーマを正しく判断出来ず評価されていない場合があります。

ページごとのコンテンツが少ない場合は、重複ページと判断されインデックスされないケースもあるので、タイトルを設定する際は、テーマにあったタイトルをページごとに設定するようにしましょう。

ページが画像や動画だけで作成されている場合は、代替テキストを設定しないとページの内容を正しくクローラーが読み取れず、インデックスされないケースがあります。

また、テキストがあるページでも代替テキストを設定することで、前後のテキストの内容と画像の内容に関連があることをクローラーに伝えることができ、ページの評価が高まる可能性があります。

インデックスの促進だけではなく、SEOの効果もあるため代替テキストを使用するようにしましょう。

Googleは2019年の7月から、モバイルファーストインデックスを導入しました。

これは、今までPCページの内容を中心にインデックスとランキングについて評価してたものを、スマホユーザーの増加に合わせて、モバイルページを中心に評価するというものです。

その為、スマートフォンに最適化されていないページに関しては、インデックスが遅れるなどマイナスとなります。

WEBサイトを作る際は、レスポンシブデザインのサイトを作り、モバイルファーストインデックスに対応したページを作成しましょう。

クローラーは、ページのソースコードを読み取り、ページの内容を判断しています。

htmlやCSSを複雑に記述した場合、クローラーがページの内容を正しく理解することができずインデックスが後回しになる場合があります。

そのため、サイトのコーディングをおこなう際は、W3Cを基準としたソースコードで記述するようにしましょう。

クローラーがページの内容を理解しやすくなり、より早くインデックスされるようになります。

サイトの表示速度が遅いと、クローラーはサーバーの過負荷を防ぐためにリクエストを抑制してクロールの再スケジュールをおこなう場合があり、インデックスされるまでに時間がかかるかもしれません。

サイトの表示速度を速めることで、クローラーによるレンダリングの負荷を軽減し、より早くインデックスされるようになります。

インデックスの際に重要視するべきSEOの施策ポイントを解説します。

WEBサイトからの集客を増やすためには、ページがインデックスされ、検索結果に表示されれば良いということではありません。

検索ユーザーにサイトを閲覧してもらう為には、検索順位が5位以内、あるいは検索結果の1ページ目に表示されていることが必要になります。

その為、ページがただインデックスされているだけでなく、ユーザーにとって価値の高いページを作成した上で、インデックスされることが重要になります。

価値の高いページとは、

• ユーザーの検索意図を満たしている
• オリジナルの情報が記載されている
• ユーザーの体験談がある
• 執筆者や監修者が誰か開示されている

などが該当します。

逆に低品質のページの場合は、インデックスされた後にGoogleのアルゴリズムによってインデックスから削除されるケースもあるため、ユーザーにとって価値の高いページを作成した上で、インデックスさせるようにしましょう。

10万ページ以上の大規模サイトでは、いかにインデックスをコントロールするかが重要です。

インターネットは無限に近い空間で、膨大な数のURLが存在しており、日々新たなURLが生まれています。一方、Googleのクローラーの処理能力には限りがあるため、インターネット上に存在する全てのURLを発見・調査することは困難です。

そのため、1つのサイトに対してクロールされる上限（割り当て数）が設けられています。
これをクロールバジェットと呼びます。

大規模サイトの場合はクロールバジェットにより、すべてのページがクロール・インデックスされるわけではありません。大規模サイトでは、優先してインデックスしてもらいたいページをクロールしてもらえるように、robots.txtやnoindexを使用してクロールを制御する必要があります。

大規模サイトのSEO対策をおこなう場合は、検索結果に表示させたいページを優先的にインデックスさせるようにしましょう。

Googleにインデックスさせたくない場合は、noindexタグもしくはrobot.txtを使用します。
ページにnoindexタグを設定するとインデックスされなくなりますが、クロールはされます。

一方、robot.txtは、ページのクロールを制御しインデックスされないようにします。

ただし、robot.txtはクローラーのサイトへのトラフィックを管理することを目的として使用するものであり、検索結果に表示しないようにする目的で使用することをGoogleは推奨していません。

また、robot.txtでページがクロールされないように設定していても、ブロックしているページのリンクを元に、インデックスされる可能性があります。

ページのhtmlのhead内に<meta name=”robots” content=”noindex” />と記述することで、Googleを含めたすべての検索エンジンのクローラーからインデックスされないようになります。

PDFや動画ファイル、画像ファイルなど、noindexタグをhtmlに記載できないリソースにnoindex設定する場合には、HTTPレスポンスヘッダーに以下の記述することでnoindexを設定します。

HTTP/1.1 200 OK
(…)
X-Robots-Tag: noindex
(…)

robots.txtとは、検索エンジンにページをクロールされたくないときに記述するテキストファイルです。

▼ robots.txtに下記の4項目を記載することで、ページがクロールされなくなります。

• User-Agent
• Disallow
• Allow
• Sitemap

「User-agent」にクロールを制御するクローラーを記述することで、対象となるクローラーを指定することができます。

「Disallow」はクロールされたくないページやファイル、ディレクトリを指定する項目です。

「Allow」はクロールを許可するページを指定する項目です。

「Sitemap」は、WEBサイトの構成を伝えるためのサイトマップの場所を指定し、クローラーに積極的に巡回させるための記述です。

ここまでインデックスについて説明してきましたが、インデックスされたページを削除したいケースもあると思います。

Googleに登録されたインデックスの削除には、2通りの種類があります。

1. 一時的にインデックスから削除する
2. 完全にインデックスから削除する

どちらも解説していきます。

インデックスから一時的に削除したい場合は、サーチコンソールを使います。

▼ Googleサーチコンソールでインデックスを一時的に削除する手順は以下になります。

1. Googleサーチコンソールにログイン
2. 「インデックス作成」の「削除」をクリック
3. 「一時的な削除」をクリック
4. 「新しいリクエスト」をクリック
5. 削除したいURLを入力
6. 「このURLのみを削除」か「このプレフィックスで始まるURLをすべて削除」を選択
7. 「次へ」をクリック
8. 「リクエストを送信」をクリックする

「このURLのみを削除」を選択した場合、入力したURLのすべてのパターン（www / www 以外、http / https）が削除されますが、パラメータ違いのURLは削除されません。

入力したURL	https://example.com/〇〇〇/
削除されるURL	http://example/〇〇〇/ https://example/〇〇〇/ http://www.example/〇〇〇/ https://www.example/〇〇〇/
削除されないURL	https://example/〇〇〇/index.html https://example/〇〇〇/?from=top

サイト全体やディレクトリ全体、パラメータ違いのURLも含めて削除する場合は、「このプレフィックスで始まるURLをすべて削除」を選択します。

削除リクエストのキャンセルも可能です。

一時的な削除申請は、約6ヶ月間Googleの検索結果に表示されなくなります。ただし、6ヶ月経過後に同じURLのページが存在していて、noindexタグなどによってインデックスが禁止されていなかった場合、ページがインデックスされ検索結果に表示されます。

また、削除リクエストが承認されても、クローラーによるページクロールを回避することはできません。

▼ サーチコンソールからインデックス削除する方法については下記で詳しく解説しています。

▼ 検索結果からサイト・またはページを完全に削除したい場合は以下の手順をおこないます。

1. サーチコンソールから一時的な削除の申請をおこなう
2. ページにnoindex設定する
3. サイトからコンテンツを削除する
4. HTTPステータスコード（404・410）を設定する

上記手順をおこなうことで、インデックスが完全に削除されます。

検索上位表示を目指すためには、ページがGoogleからインデックスされていることが前提となります。

基本的にページがクロールされればインデックスされますが、さまざまな理由によりインデックスされない場合もあります。

ページがインデックスされているかや、されていない原因については、GoogleサーチコンソールのURL検査ツールで確認できます。

基本的にクロールされるのを待つだけでインデックスされますが、何らかの理由ですぐにインデックスしてもらいたい場合は、URL検査ツールからインデックスをリクエストすることも可能です。

ページ数が多い大規模なサイトでは、インデックスされる必要がないページに対してnoindex設定をおこなうか、不要なページのインデックス削除をおこなうことでクローラーの負担が軽減され、インデックスしてもらいたいページがインデックスされやすくなります。