クロールバジェットとは？定義と上限・最適化の方法を解説

「クロールバジェット」とは、Googleの検索エンジン（クローラー／Googlebot）が、1つのWebサイトを一定期間にクロールできる上限量を指す言葉です。

Googleは世界中の膨大なWebサイトをクロールしていますが、リソースには限りがあるため、1つのサイトを無制限にクロールすることはできません。

そのため、Googleは効率的にクロールを行うために、各サイトごとにクロール量を調整し割り当てています。この仕組みを「クロールバジェット」と呼びます。

Webページはクロールされて初めてインデックスの対象となるため、クロールされなければ検索結果に表示されません。Webサイト運営者は、クロールバジェットを無駄に消費せず、効率的に使えるよう最適化する必要があります。

クロールバジェットはすべてのWebサイトに関係しますが、特に影響を受けやすいのは以下のようなWebサイトです。

一方で、10ページ〜1,000ページ規模の一般的なコーポレートサイトやブログであれば、通常はクロールバジェットが問題になることはほとんどありません。

そのため、1,000ページ以下の中小規模サイトや個人ブログでは「クロールバジェットを増やすこと」よりも、コンテンツの質を高めて検索エンジンに価値を認めてもらうことの方が重要です。

クロールバジェットは大きく分けて 「クロール能力の上限」（どれだけクロールできるか） と 「クロールの必要性」（どのURLを優先してクロールするか） の2つの仕組みで決まります。

Googleは、Googlebotがサイトをクロールする際にサーバーへ負担をかけないよう「クロール能力の上限」を設けています。これは、同時接続数やアクセス間隔を調整する仕組みです。

クロール能力の上限は、主に以下のような要因で変動します。

このようにクロール能力の上限は、サイトの技術的な状態とGoogle側のリソース状況の両方から影響を受けて決まります。したがって、サイトの表示速度やサーバーの安定性を改善することが、クロールバジェットを確保する最も基本的な対策といえます。

クロールの必要性とは、Googleが「どのページを優先してクロールするか」を決める基準のことです。主に次の3つが判断材料になります。

つまり、「人気度」「古さ」「検出されたURL群」を考慮し、クロールの必要性が高いWebサイトほどクロールバジェットが多く割り当てられる仕組みになっています。

前述した通り、クロールバジェットは「どれだけクロールできるか」と「どのページを優先するか」で決まります。

不要なURLが多かったり、サーバーが遅かったりすると重要なページにリソースが回らない恐れがあります。ここからは、限られたクロールバジェットを有効に活用するための方法を解説します。

クロールバジェットを最適化する方法は次の７つです。

それぞれ詳しく解説します。

Webサイト内に重複ページが多いと、Googlebotは同じような内容のURLを何度もクロールしてしまい、クロールバジェットが無駄に消費されます。

その結果、本来インデックスさせたい重要ページが後回しにされる可能性があるため、重複コンテンツを統合し、検索エンジンに「どのページを正規ページとして評価してほしいか」を伝えることが大切です。

重複ページを統合するには以下の方法があります。

クロールを最適化する方法の2つ目は「robots.txtで不要なページのクロールを制限する」ことです。

Googlebot はサイト内で見つけたURLを基本的にすべてクロールしようとします。その中には、検索結果に表示する必要のないページや、クロールしても価値のないページも含まれまるため、場合によってはクロールバジェットを消費する原因になります。そこで役立つのがrobots.txtです。

robots.txtは、特定のディレクトリやURLパターンを指定し、Googleに「このページはクロールしなくてよい」と指示することができます。

クロールを最適化する方法の3つ目は、削除済みのページに対して404または410のステータスコードを返すようにすることです。

削除したページや不要なページにいつまでもアクセスできる状態を残してしまうと、Googleのクローラーは何度も巡回し続けるため、クロールバジェットを浪費します。

そこで、削除したページには必ず404 や410 を返すようにすることで、Googleに「もう見る必要はない」と伝えることができます。つまり、削除済みのページに対して、404や410を正しく設定することは「クロール最適化」に繋がり、クロールバジェットの有効活用になります。

クロールを最適化する方法の4つ目は、soft 404エラーを削除することです。

前述した通り、「ページが存在しない」場合には404や410のステータスコードを返すべきですが、実際には200（OK）などの「正常にページがありますよ」というコードを返してしまっている状態をSoft 404と呼びます。

例えば、ページの中身が「お探しのページは見つかりません」と表示されているのに、裏側のステータスコードが200になっている場合がSoft 404にあたります。Soft 404を放置すると、Googlebotは「中身が空っぽのページ」に何度もアクセスし続けるため、クロールバジェットが無駄に消費されてしまいます。

Soft 404はGoogleサーチコンソールのインデックスレポートから確認できるため、発生していたらすぐに対処しましょう。

クロールを最適化する方法の5つ目は、リダイレクトチェーンを避けることです。

「リダイレクトチェーン」とは、リダイレクト元と最終的なリダイレクト先の間に、複数のリダイレクトが設定されている状態です。

Googleのジョン・ミュラー氏はリダイレクトチェーンがあると、クローラーの負担が増加するため、5回目以降は次回のクローリングに回されると発言しています。

If there's one thing to remember, it's that we follow redirects up to five times. If the redirects exceed five, they will be deferred to the next crawl cycle.

https://www.youtube.com/watch?v=SUaPrCV-0jM

多すぎるリダイレクトチェーンはクロールバジェットの無駄使いとなるため、改善するようにしましょう。

クロールを最適化する方法の6つ目は、XMLサイトマップを最新の状態にすることです。

XMLサイトマップとは、Webサイト内のページ構造を検索エンジンに伝えるための専用ファイルのことです。

Googleのクローラーは定期的にXMLサイトマップを読み込み、記載されたURLをクロール対象として確認します。そのため、新しいページを追加した場合や古いページを削除した場合には、必ずXMLサイトマップを更新しておくことが大切です。

常にXMLサイトマップを最新の状態にしておけば、Googleは不要なページを無駄にクロールすることなく、新規ページや優先度の高いページを効率よくクロールすることができます。つまり、クロールバジェットの無駄を防ぐことにつながるという訳です。

クロールを最適化する方法の7つ目は、ページの表示速度を改善することです。

ページの読み込みが遅いと、Googleのクローラーは1ページの情報を取得するのに時間がかかり、その分だけ巡回できるページ数が減ってしまいます。一方で、ページの表示速度を改善すれば、クローラーは短時間でより多くのページを処理できるため、クロール効率が大幅に高まります。

不要なスクリプトの削除や画像の最適化、キャッシュの活用などの施策によってレンダリング速度を上げることで、クロールバジェットを有効に活用できるようになります。

クロールバジェットは限りがあるため、不要なページにクローラーが回ってしまうと、本来クロールすべき重要なページがおろそかになります。

特に次のようなページはクロールバジェットを無駄に浪費するため注意が必要です。

上記のように「重複・低品質・エラー」系のページはクロールのリソースを無駄に使うため、クロールバジェットに悪影響を及ぼします。

こうしたページを正しく整理・制御することが、クロール最適化につながります。

実際に自社で運営するサイトがいつクロールされたのか、どのくらいの頻度でクロールされているのかをGoogleサーチコンソールで確認してみましょう。

以下のような画面が表示され、過去90日間に行われたクロールリクエストの合計数を、日別に確認できます。

グラフで表示されるため、クロール頻度の変動を視覚的に確認することも可能です。

上記画像の例では、約3ヵ月で5.85万回クロールされている事が分かります。

クロール頻度を確認したら、次に最新のクロール日を確認してみましょう。

今回は、クロールバジェットの意味と定義、決定する仕組み、影響を受けるサイトのタイプ、最適化する方法、クロール頻度の確認方法について解説しました。

小規模・中規模のWebサイトではクロールバジェットの影響はほとんどないため、クロールバジェットを意識する必要はありません。

一方で、大規模なサイトやニュースサイトのように更新頻度の高いWebサイトの場合は、クロールバジェットの影響を受けやすくなります。不要なページや重複コンテンツにクロールが割かれてしまうと、本来インデックスさせたい重要なページが後回しになり、検索結果への反映が遅れるリスクがあります。

そのため、本記事で紹介したクロールバジェットを効率的に使えるよう最適化することが重要です。クロールバジェットを正しく理解し、無駄を減らす取り組みを行うことで、大規模サイトであっても安定して検索結果にページを反映させることができ、SEO全体の成果につながります。