Googleクローラーとは？仕組みと申請方法・巡回頻度を高めるやり方

Googleクローラー（Google bot）とは、自動で世界中のWebサイトを巡回しながら情報を収集し、検索データベース（インデックス）に登録するプログラムのことです。

Googleクローラーは、Webサイトを定期的に巡回して、Webサイトの「HTML」「CSS」「JavaScript」などのコードを解析し、ページ上のテキスト、画像、動画、リンク、メタデータなどを取得します。

Googleはクローラーが取得したこれらの情報を元に、アルゴリズムでランキングを決定し検索結果にWebページを表示させています。つまり、Googleのクローラーとは検索結果に表示されるための「入口」になる存在です。

そのため、SEOでは「クローラーが巡回しやすいサイト構造になっているか」「重要なページが正しくクロール・インデックスされているか」を整えることが、成果を出すための土台になります。

Googleのクローラーは、目的に応じていくつかの種類があります。代表的なのは、検索結果に表示するためにWebページの情報を収集するGooglebotです。Googlebotには、主に次の2種類があります。

スマートフォン用 Googlebot: モバイル デバイスでユーザーをシミュレートするモバイル クローラー。
パソコン用 Googlebot: デスクトップでユーザーをシミュレートするデスクトップ クローラー。

検索セントラル：Googlebot

GoogleはWebサイトを評価するときに、スマホ版ページの内容を基準にする仕組み「モバイルファーストインデックス」を採用しています。そのためSEOでは、スマートフォン用Googlebotが取得する内容を前提に対策することが重要です。

また、Googleには検索用のGooglebot以外にも、画像・動画・ニュースなど、用途別に情報を取得するクローラーが存在します。

上記以外にも複数のクローラーがあります。詳しく知りたい方は以下のページをご確認ください。

Googleクローラーは、ページを理解・評価するためにHTMLだけでなく動画や画像など周辺リソースも取得します。クローラが実際に読み取るファイルの一覧は以下になります。

・HTML
・画像 (Google で取得可能な画像ファイル形式BMP、GIF、JPEG、PNG、WebP、SVG )
・動画 (Google で取得可能な動画ファイル形式: 3GP、3G2、ASF、AVI、DivX、M2V、M3U、M3U8、M4V、MKV、MOV、MP4、MPEG、OGV、QVT、RAM、RM、VOB、WebM、WMV、XAP)
・JavaScript
 ・CSS
・PDF
・その他の XML - XML をベースとした RSS、KML などの形式を含まない XML ファイル
・JSON
・シンジケーション - RSS フィードまたは Atom フィード
 ・音声
・地理データ - KML または他の地理データ。
・その他のファイル形式 - ここに記載されていないその他のファイル形式。
・不明（失敗） - リクエストが失敗した場合、ファイル形式は不明となります。

クロールの統計情報レポート - Google Search Console ヘルプ

このように、HTML以外にも多くの情報をクローラーは取得しています。動画や画像などもクローリングしてもらいたい場合は、ファイル形式を間違えないように記述しましょう。

また、上記の中でもSEOを行う上で大きく関係する代表的なものは次のファイルです。

Googleクローラーが、Webサイトやぺージを発見してからインデックスするまでにどのような過程があるのか説明します。

クローラーがインデックスするまでの基本的な順序は、以下になります。

発見されたURLはクローラーによって解析され、ページの内容にガイドライン違反やnoindexの記述がなければ、Googleのデータベースに登録を行い検索結果に表示させます。

それぞれの行程について詳しく説明します。

GoogleのクローラーはWebページ上に設置されたリンクを自動的に辿って新しいURLを発見します。

クローラーが新しいURLを発見すると、そのURLはクロール待ちのリスト（クロールキュー）に追加されます。

そしてGooglebotは、クロールキューにあるURLの中から、状況に応じて優先度の高いURLから順にクロールしていきます。

なお、リンクがないページ（孤立したページ）でも、サイト運営者がGoogleサーチコンソールの「URL検査」からインデックス登録をリクエストしたり、XMLサイトマップを送信することで、GoogleがURLを把握するきっかけを作れます。

クロールとは、GooglebotがWebページにアクセスして、HTMLや画像・CSSなどの情報を取得することです。

Googleのクローラーは、サイトをクロールする前にrobots.txtを取得・解析し、Googlebotがアクセス可能かを確認します。

robots.txtのDisallowで対象URLのクロールが許可されていない場合、GooglebotはそのURLをクロールせず別のURLの処理に進みます。

クロールが許可されている場合、Googlebot はHTML等を取得し、本文中のリンク（aタグのhref属性）から新しいURLを見つけ、必要に応じてクロールキューへ追加します。

レンダリングとは、Googlebotがクロールで取得したHTML/CSS/JavaScriptを読み込み、ブラウザで表示されるのと同じようにページを再現して内容を理解する工程です。

具体的には、Googlebotがソースコードを読み取り、CSSの適用やJavaScriptの実行を通じてDOMを構築し、実際にユーザーがブラウザで見る画面に近い形に変換します。

レンダリングを行うことでGoogleは、JavaScriptで生成される本文・リンク・要素なども把握できるようになります。なお、レンダリング前にページ内の設定（meta robots）も参照され、インデックス登録が禁止されていなければ、レンダリングへ進みます。

noindexタグが設定されている場合は、レンダリングは行われずインデックス登録の対象外となります。

インデックスとは、Googlebotがクロールしたページを、検索データベースに登録する工程のことを言います。インデックス登録されることで、そのページは検索結果に表示されるようになります。

インデックスの段階では、ページのテキストや画像などの情報が整理されます。その過程でデータベース内に類似ページや重複したページが多い場合は、同じ内容のURLをまとめて扱い、代表となるURLのみがインデックスされることがあります。

つまり、クロールされたからといってすべてのページがインデックスされる訳ではないということです。

Googleのクローラーに巡回申請する方法は以下の2つです。

大前提として、GoogleクローラーはWebサイト上にあるリンクをたどって自動的に世界中のページを発見し巡回していますが、上記2つのいずれかの方法を行うことで、サイト運営者側からGoogleのクローラーに対して巡回申請を行うことができます。

それぞれ詳しく解説します。

Googleサーチコンソールにある「URL検査」という機能を使うことでGoogleクローラーに直接クロール申請を行うことができます。

▼ URL検査については別の記事でも詳しく解説しています。

【関連記事】

GoogleサーチコンソールからXMLサイトマップを送信すると、サイト内にあるURLの存在をまとめてGoogleに伝えられます。つまり、Googleが新規・更新ページを発見しやすくなるため、間接的にクロールを促す効果が期待できます。

▼ GoogleサーチコンソールからXMLサイトマップを送信する方法については別の記事で詳しく解説しています。

【関連記事】

GoogleクローラーがWebサイトを巡回したか確認する方法も主に次の2つです。

それぞれ詳しく解説します。

Googleサーチコンソールを使うことでクローラーがページを巡回したか確認することができます。

それぞれの確認方法は以下になります。

URL検査では、対象URLがGoogleでどのように扱われているかを確認できます。

「ページのインデックス登録」の項目には、クロールが許可されているか、最終クロール日時などが表示されます。

また「公開URLをテスト」を使うと、現時点のページをGoogleが取得できるかを確認できます。

URL検査からクローラーが巡回したか確認する手順は以下になります。

「ページのインデックスレポート」は、Google が検出したURLのうち、インデックスに登録できたもの／できなかったものと、登録できなかった理由をサイト全体で確認できるレポートです。

あくまで、インデックス状況を確認するためのものですが、インデックス登録済みのURLは、少なくともGoogleにクロールされた実績があると考えられます。

また、レポートのURL一覧では、各URLの最終クロール日時も確認できます。

▼ 「ページのインデックスレポート」を確認する手順は以下になります。

サーバーログは、サイトに来たアクセスを「いつ・どのURLに・どんな結果で」処理したかを残す履歴です。

Googleクローラーのアクセスも同じように記録されるため、ログを見れば「どのページが実際にクロールされているか」「更新したページに取りに来ているか」「404やサーバーエラーでクロールを失敗していないか」を具体的に追うことができます。

サーチコンソールは全体像を掴むのに便利ですが、サーバーログは「現場の証拠」に近い情報です。サーバーログを確認するには多少の知識が必要な一方、クロールの偏りや無駄な巡回、ボトルネックを発見しやすいので、ページ数が多いサイトや技術面の改善を進めたい場合にはサーバーログからクローラーの巡回を解析をすることをおすすめします。

Googleクローラーのクロール量が増えた／減ったかを確認したい場合は、Googleサーチコンソールの「クロール統計情報」を利用します。クロール統計情報はサイト全体の総クロールリクエスト数の推移が確認できるため、クロール量の増減を把握できます。

▼ 確認する手順は以下になります。

▼ クロールの統計情報については別の記事で詳しく解説しています。

【関連記事】

Googleクローラーの巡回を拒否する方法は、主にrobots.txtと.htaccessの2つがあります。どちらも「見せたくないページを守る」ための手段ですが、目的によって適切な使い分けが必要です。

例えば、管理画面・テスト環境・会員限定ページなど、検索に載せる必要がないページはrobots.txtを使ってクロール対象から外した方が適しています。

一方で、外部に公開したくない情報が含まれているページや、テスト環境など絶対に閲覧されると困るページは、robots.txtではなく.htaccessでパスワードをかけてクローラーからのアクセス自体を遮断する方が確実です。

robots.txtと.htaccessでGoogleクローラーの巡回を拒否する方法について詳しく解説します。

robots.txtは、検索エンジンのクローラーに対してどのURLをクロールしてよいか／しないかを伝えるためのファイルです。

設定次第で、Googlebotだけを拒否したり、特定ディレクトリ配下のクロールを拒否したりできます。

▼ robots.txt の基本的な書き方の例は以下になります。

User-agent: Googlebot
Disallow: /xxx/

User-agentには、対象にしたいクローラー名を書きます（例：Googlebot）。
Disallowには、クロールを拒否したいパスを書きます。パスは 大文字・小文字を区別します。
Disallow: / とするとサイト全体を拒否します。
User-agent: * とするとすべてのクローラーが対象になります。

なお、robots.txtはクロールを制御するもので、インデックス登録を確実に防ぐものではありません。リンクなどからURLが見つかると、ページ内容をクロールできなくてもURLのみが検索結果に表示される場合があります。

インデックスを拒否したい場合はnoindex（meta robots/X-Robots-Tag）を使用するようにしましょう。

▼ robots.txt については別の記事で詳しく解説しています。

【関連記事】

.htaccessは、Apacheサーバーで 特定のアクセスを拒否したり、認証をかけたりすることができる設定ファイルです。

robots.txtと違って「クロールしないでね」ではなく、物理的にページにパスワードをかけるなどアクセスさせないという強い制御ができます。そのため、.htaccessでパスワードをかける方法が、クローラーにページ内容を読み込ませない方法として一番確実な方法となります。

ただし、.htaccessでパスワードをかけた場合、Googlebotだけでなくパスワードを知らないユーザーもページを見られなくなります。

▼ .htaccess については別の記事で詳しく解説しています。

【関連記事】

Googleクローラーの巡回頻度（＝クロール量）を増やすには、「設定で無理やり上げる」というより、Googleが「もっと巡回しに行きたい」と思う状態にするのが基本です。

「クロールの必要性」 とはサイトの人気度や重要度、更新の多さなどのことで、ユーザーにとって価値が高く高品質で人気のサイトであればクロール頻度が高くなります。

「クロール頻度の制限」とは、Googlebotがサイトに対して行うクロールがサーバーに負荷をかけすぎないように、取得ペースに上限をかけることを指します。そのため、ページの表示速度やサーバーの応答速度が影響します。

そのため、次の6の方法を実践することでGoogleクローラーの巡回頻度を高めることができます。

それぞれ詳しく解説します。

重複コンテンツとは、サイト内のぺージ同士で内容が類似または重複しているコンテンツのことです。

▼ 具体的に重複コンテンツとは以下のようなページが該当します。

▼ 重複コンテンツが発生した場合は以下の方法で対処しましょう。

低品質なページがサイト内に大量にあると、クローラーが巡回すべきURLが増えて重要ページのクロールが分散したり、サイト全体の品質評価にも悪影響が出る可能性があります。

そのため、成果に繋がらないページや維持する価値が低いページは、削除してサイト全体の品質を高めることが重要です。

具体的に低品質なページとは、ユーザーにとって得られる情報が少なく、検索意図を十分に満たせていない以下のようなページのことです。

ページの品質が高いほどユーザーの満足度が高くなるため、Googleは検索で重要なページだと判断します。

重要度が高いページはクロールの優先度やクロールの上限値も上がりやすいため、ページの品質を高めることで間接的にクロール頻度の向上に繋がります。

実際にGoogle公式ドキュメントには以下の趣旨が記載されています。

ターゲットとする Google のプロダクトに合わせてコンテンツの品質を最適化しましょう。Google は、各サイトに割り当てるクロールのリソースを、その Google プロダクトに関連する要素を考慮して決定します。たとえば Google 検索の場合、人気度、ユーザーにとっての総合的な価値、コンテンツの独自性、配信（提供）能力などが含まれます。
※ SEM Plus編集部和訳

クロール バジェット管理

ページの品質を高めるには次の要素を意識してコンテンツを改善します。

サーバーの応答が遅かったり、500番台のエラーが多発したりすると、Googlebotはサーバー負荷を避けるために自動的にクロール頻度を下げることがあります。

Googleの公式ページには以下のように記載されています。

そのため、契約しているサーバープランが低く高負荷に耐えられない場合は、上位プランへの変更やスケールアップ、キャッシュの導入、DB/アプリのボトルネック改善などで応答速度を改善するのが有効です。

改善の効果を確認したい場合は、Googleサーチコンソールの 「クロール統計情報」 で、平均応答時間やエラーの増減、クロール量の推移をチェックしましょう。

数値が改善していれば、クロール頻度が高まっていると言えます。

ページの表示速度が遅いと、Googlebot がページ取得に時間を要してしまうため、サイト全体のクロール効率が下がる可能性があります。

具体的には画像・JavaScript・CSS などのリソースが重いページが多いと、クロールに時間がかかり、重要ページの巡回が後回しになることがあります。

そのため、ページ表示速度の改善は、ユーザー体験だけでなくクロール効率の観点でも重要です。まずは、ページの表示速度を計測するツールPageSpeed Insightsでページの表示速度を確認してみましょう。

ページの表示速度に問題がある場合は、以下の方法で改善します。

▼ 具体的な改善方法については別の記事で詳しく解説しています。

【関連記事】

内部リンクの最適化とは、サイト内で重要なページに内部リンクを集めたり、孤立したページを作らない施策のことを指します。

重要ページに内部リンクを集めることで、サイト内での重要度が伝わりやすくなり、重要ページが優先的に巡回されやすくなります。

また、価値の低い派生URLや重複ページにクロールが偏るのを防ぎ、クロールの無駄を減らすことにもつながります。さらに、新規公開ページや更新ページが孤立していると、GoogleがURLを発見するまでに時間がかかることがあります。

その場合でも、すでにクロールされている関連ページから内部リンクを張っておけば、Googlebotがリンクを辿ってURLを見つけやすくなります。

今回は、Googleのクローラーについて解説しました。

クローラーによるページの巡回がされなければ、インデックスされずページが検索結果に表示されません。クローラーの仕組みと役割を正しく理解することで、インデックスがされない原因と改善策を考えることができるようになるため、クローラーについて知ることはサイトを運営する上では重要な意味を持ちます。

特にSEO対策を行う場合や、大規模サイトを運用する場合は、クロールをコントロールする必要があるため、本記事でしっかりとクローラーについて覚えておくようにしましょう。