クローラビリティとは？SEOで重要な理由と向上させる方法

クローラビリティ（Crawlability）とは、検索エンジンのクローラーがWEBページを発見できる能力を示す言葉です。

Googleなどの検索エンジンは、インターネット上の情報を収集するためのロボット「クローラー」を使って自動的にWEBページをクロールし、情報を収集しています。

クローラーが収集した情報をインデックスデータベースに格納し、ユーザーが検索したキーワードと関連性の高い情報を持つページを、検索結果に表示しているのが検索エンジンの仕組みです。

そのため、クローラビリティが高い（良い）サイトは、クローラーが迷うことなく全てのページにアクセスでき、多くのページが検索結果に表示されます。

つまり、SEOをおこないWEBサイト内のページを多く検索結果に表示させるためには、クローラビリティを意識して運用をおこなうことが重要となります。

クローラビリティが悪いWEBサイトは次のような悪影響が発生するため、SEOをおこなう上で重要です。

• ページがクロールされず検索結果に表示されない
• 新規ページや更新したぺージのクロールが遅れ機会損失が発生する

クローラビリティが悪いと、検索エンジンのクローラーがサイト内のページを十分に巡回できないため、ページがクロールされません。ページがクロールされなければ当然インデックスに登録されないため、検索結果にも表示されません。つまりそのページへのアクセスは0です。

そのため、ポータルサイトやニュース系メディアなど数十万ページ以上あるようなWEBサイトの場合は、多くのページを検索結果に表示させる必要があるため、SEOをおこなう上では致命的となります。

また、クローラビリティが悪いと、検索エンジンが新しいページや更新されたページを発見するまでに時間がかかり、検索結果に反映されるまでにタイムロスが発生します。

そのため、話題になっているテーマや最新情報を扱っているWEBサイトの場合は、競合サイトに対して露出が遅れ機会損失が発生します。

では、クローラビリティが悪いWEBサイトとはどのようなWEBサイトなのでしょうか？

次の項目で詳しく解説します。

クローラビリティが悪いWEBサイトとは、検索エンジンのクローラーがサイト内のコンテンツを効率的かつ効果的に巡回・インデックスすることが困難なWEBサイトを指します。

このようなWEBサイトには、次のような特徴があります。

• クローラーが巡回しづらい仕様のWEBサイト
• クローラー巡回を妨げる問題が発生しているWEBサイト
• 品質が低いコンテンツが多いWEBサイト

それぞれ詳しく解説します。

クローラーが巡回しづらい仕様や設定をおこなっているWEBサイトは、クローラーがスムーズにWEBサイト内を巡回できないため、クローラビリティが悪くなります。

クローラーが巡回しづらいWEBサイトの特徴として、次のものが挙げられます。

例えば、サイト構造が複雑なサイトはクローラーが階層の低いページにたどり着くまでに時間がかかるため、クロール効率が低下します。また、内部リンクが不足している場合は、クローラーがページ間をスムーズに移動できないためクローラビリティが悪くなります。

WEBサイトにGoogleのクローラーの巡回を妨げる何かしらの問題が発生している場合は、クローラーがページを閲覧できなかったり、閲覧するのに時間がかかるためクローラビリティが悪くなります。

クローラーの巡回を妨げる問題は、次のようなものが挙げられます。

契約しているサーバー会社の問題で、ネットワークに問題が発生している場合は仕方ありませんが、このような問題が発生する原因の多くは、基本的にサイト運営者側の設定ミスによるものです。

運営者側の問題でクローラビリティが悪くならないように、技術的な設定を見直しましょう。

コンテンツの品質が低いWEBサイトも、クローラビリティが悪くなります。検索エンジンはユーザーにとって役に立つページを検索結果に表示するため、品質が低いページが多く存在しているWEBサイトはクロールする重要性が低いと判断します。

具体的に、品質が低いコンテンツとは次のものです。

上記のようなページで構成されているWEBサイトの場合は、検索結果に表示させる意味がないため、積極的にクロールがおこなわれず、クローラビリティが低下します。

クローラビリティを向上させるためには、次の方法をおこなうのが効果的です。

• ディレクトリ階層の浅いサイト構造にする
• GoogleサーチコンソールからXMLサイトマップを送信する
• 内部リンクを設置する
• パンくずリストを設置する
• ページの表示速度を改善する
• 重複コンテンツを1つにまとめる
• リダイレクトチェーンを避ける
• ステータスコード304（Not Modified）を活用する
• Googleサーチコンソールからクロールのリクエストをする

クローラビリティが悪化している原因に合わせて、最適な施策をおこなってください。

それぞれの項目について詳しく解説します。

ディレクトリ階層が浅いサイト構造にすることで、クローラーがページを発見しやすくなるためクローラビリティが向上します。ディレクトリ階層は、WEBサイト内の異なる階層を表す構造のことで、URL内でスラッシュ（/）を使って表現されます。

分かりやすく、本ページのURL「https://white-link.com/sem-plus/crawlability/」で説明すると、トップページ→カテゴリページ→記事ページと/で区切られているため、3階層目になります。

一方で、ディレクトリ階層が深いページの場合、クローラーが目的のページにたどり着くまでに多くのリンクを辿る必要があるため、クロール効率が低下する可能性があります。

また、ユーザーにとってもページを見つけづらかったり、自分がどの階層のページにいるのか迷ってしまうためユーザビリティにも悪影響を及ぼしSEO評価が低下します。

ディレクトリ構造については、Googleの公式ドキュメント内でも次のように記載されています。

シンプルな URL 構造を作成する。論理的かつ人間が理解できる方法で URL を構成できるよう、コンテンツを分類します。

URL に関する問題の解決：Google における URL 構造のベスト プラクティス

基本的には、3クリック以内で全てのページに遷移できるディレクトリ構造が好ましいと言われているため、なるべく浅いディレクトリ構造を心がけ、クローラビリティに悪影響が出ないように気を付けましょう。

GoogleサーチコンソールからXMLサイトマップを送信することで、GoogleはWEBサイト内にあるURLを把握できるため、クローラビリティが向上します。

XMLサイトマップとは、検索エンジンにWEBサイト内にあるページの存在やサイトの構造を伝えるためのファイルのことで、GoogleにクロールしてほしいURLを記述します。

GoogleのクローラーはWEBサイト内を自動的に巡回してくれるため、小規模なWEBサイトの場合はXMLサイトマップを送信する必要がありません。

つまり、XMLサイトマップを送信することでクローラビリティが向上するというわけです。

※ XMLサイトマップを送信したことでクローラビリティが改善され、インデックスされたページが数十万単位で増加しています。

以下に該当するWEBサイトはXMLサイトマップを送信することで、クローラビリティが向上する可能性が高くなります。

XMLサイトマップの作成方法と、Googleサーチコンソールに送信する方法については、別の記事で詳しく解説しています。

【関連記事】

【関連記事】

内部リンクを適切に設置することで、クローラビリティを向上させることができます。

内部リンクとは、ユーザーがWEBサイト内にある異なるページに移動できるようにするために、ページ同士を繋いでいるリンクのことです。

ユーザーが内部リンクを使ってページを移動するのと同じように、GoogleのクローラーもWEBページ上にある内部リンクを辿ってWEBサイト内を巡回し、クロールをおこなっています。

そのため、WEBサイト内にある全てのページにユーザーとクローラーが辿り着けるように内部リンクを設定することで、検索エンジンがWEBサイト内をスムーズに巡回できるようになりクローラビリティが向上します。

内部リンクを設定する際は、下記の様にルールを設けて設定するとユーザビリティとクローラビリティを向上させることができます。

内部リンクを設置するコツは、ユーザーにとって使いやすいWEBサイトにするために必要な動線を作成してあげることです。ユーザーにとって使いやすいWEBサイトを意識することで、結果的にクローラーにとっても巡回しやすいクローラビリティの高いWEBサイトを構築できます。

内部リンクについては、別の記事で詳しく解説しています。

【関連記事】

パンくずリストとは、WEBサイト内の現在地を階層構造の形で示すためのナビゲーション機能の1つです。

パンくずリストは、「トップページ ＞ カテゴリ ＞ サブカテゴリ ＞ 現在のページ」というようにページの道筋が表示されるため、ユーザーは上位階層に戻りやすくなるうえ、検索エンジンのクローラーにとってもサイト内のコンテンツ構造を把握しやすくなります。

また、Googleの検索エンジンは、パンくずリストを活用して内部リンクを発見し、クロールを行っています。そのため、すべてのページにパンくずリストを設置することで、クローラビリティを向上させることができます。

実際に、GoogleのJohn Mueller氏もパンくずリストについては、X（旧Twitter）で次のように回答しています。

”We use breadcrumbs for crawling (finding internal links) & for rich results (structured data);”

■ SEM Plus 和訳
クロール（内部リンクの検索）とリッチリザルト（構造化データ）にはパンくずリストを使用します。

なお、パンくずリストを設置する際に構造化データでマークアップをおこなうと、検索結果画面にリッチリザルトとして表示されるため、クローラビリティの向上だけでなく検索結果でのクリック率向上も期待できます。

パンくずリストについては、別の記事で詳しく解説しています。

【関連記事】

ページ速度を改善することで、クローラビリティを向上させることができます。ページ速度とは、ユーザーがWEBサイトにアクセスしてから、ページが表示されるまでにかかる読み込み時間のことです。

表示速度が早いページは、ユーザーが快適にページを閲覧できるようになるのと同じように、Googleのクローラーも高速に表示されるページを効率よく巡回できます。

Googleのクローラーにはクロールをおこなう上限（クロールバジェット）が存在するため、Googleのクローラーが1つのWEBサイトをクロールできる時間には限りがあります。

例えば1秒間に1ページクロールできるとした場合、1分間にクロールできるページ数は60ページですが、表示速度が極端に遅く1ページクロールするのに10秒かかる場合は、1分間に6ページしかクロールできません。

表示速度が遅い場合は、クロールバジェットの限界に達してしまいクロールがおこなわれない状態になってしまい、クロールされていないページが発生する可能性があります。

ページの表示速度を改善するためには、以下の方法が有効です。

小規模のサイトの場合は、クロールバジェットを気にする必要はありませんが、中規模以上のサイトの場合はクローラビリティに悪影響が出るので、表示速度を改善しておきましょう。

重複コンテンツを整理して統合することで、クローラビリティを向上させることができます。重複コンテンツとは、同じ内容が記載されているにも関わらずURLが異なるページのことです。

上記のようにページの内容が重複している場合は、ユーザーが同じ情報を複数ページで見かける場合と同じように、Googleのクローラーも重複しているページのURLをそれぞれ巡回するため、無駄なクロールをおこなうことになります。

そのため、重複コンテンツを 1つにまとめて正規ページを定めることで、検索エンジンが本来クロールすべきページに集中できるようになり、クローラビリティが向上します。

重複する複数のページを統合する際は、下記の様にルールを設けて設定するとユーザビリティとクローラビリティを向上させることができます。

重複コンテンツの扱いについては、別の記事で詳しく解説しています。

【関連記事】

リダイレクトチェーンとは、あるページから別のページにリダイレクトした際、さらにまた別のページへリダイレクトが繰り返され目的のページに到達するまでに複数回のリダイレクトを経由してしまう状態のことです。

長いリダイレクトチェーンが発生していると、Googleのクローラーが余計なリソースを消費するため、クローラビリティに悪影響が出ます。

また、テストした結果では6回もしくは7回以上のリダイレクトチェーンの場合、クローラーがリダイレクト先のページを認識できないリダイレクトエラーが発生し、ページがインデックスされませんでした。

そのため、クローラビリティに悪影響を出さないように、WEBサイト内のリダイレクトが1回で済むように設定します。

リダイレクトチェーンが発生しているかどうかはブラウザ上では分かりづらいため、「HTTPステータス＆リダイレクトチェッカー 」など、リダイレクトを調べることができるツールを使って確認しましょう。

304ステータスコードを正しく活用することで、クローラビリティを向上させることができます。

304ステータスコードとは、サーバーが前回クロール時とコンテンツが変わっていない場合に返すステータスコードのことで、Googleのクローラーは304がサーバーから返ってきた場合は更新がないページと判断するため、不要なデータの再取得をしなくて済みます。

「更新されていないページにも毎回データを返す」ような状態が続けば、クローラーは無駄な通信や処理に時間を費やすことになり、新しいぺージや更新したページのクロールが後回しになってしまう可能性があります。

つまり、クローラビリティを向上させるためには、更新されていないページは304ステータスコードを返し、クローラーが更新されたページだけを重点的にクロールできるようにする必要があります。

Googleサーチコンソールからリクエストすることで、対象のURLをクロールしてもらうことができます。

クロールリクエストは1URLごとに1回ずつおこなわないといけないことと、1日に利用できる回数制限があるため、新しいページを公開した場合や、リライトをした場合にしか活用できませんが、リクエストをおこなえば確実にクロールしてもらうことができます。

Googleサーチコンソールからリクエストする方法は、以下になります。

以上で完了です。

クローラーを指定のURLに呼ぶことができます。

URL検査ツールの使い方は、別の記事で詳しく解説しています。

【関連記事】

クローラビリティの改善施策をおこなう前と後で、実際にどの程度改善されたのか確認してみましょう。Googleサーチコンソールを使うことで、自社のWEBサイトがどのくらいGoogle botにクロールされているかを確認できます。

クローラビリティが改善されたかどうかを調べたい場合は、Googleサーチコンソールの機能「クロールの統計情報」で確認します。

クロールの統計情報はクロール数以外にも、ページの応答時間や、クロール中にダウンロードされたすべてのファイルとリソースの合計サイズなど、クロールに関する様々な情報を確認できます。

テクニカルな知識が必要になりますが、クローラビリティの改善施策をおこなったら、必ず確認して効果検証をおこないましょう。

クロールの統計情報については、別の記事で詳しく解説しています。

【関連記事】

最後に弊社でデータベース型のWEBサイトで、クローラビリティを改善した事例を紹介します。

主に「表示速度の改善」「サーバーの見直し」「サイト構造の見直し」を中心に取り組んだ結果、検索エンジンのクローラーが効率的にサイトを巡回できるようになり、検索順位やアクセス数が向上したケースを紹介します。

【サイト概要】

【施策後の結果】

クローラビリティを向上させることは、結果的にユーザビリティの改善にも関係するため、SEOをおこなう上では重要な施策です。Googleには、1つのWEBサイトをクロールできる上限があるため、多くのページをインデックスさせる必要のある大規模サイトの場合は特に重要になります。

クローラビリティの改善施策はテクニカルな施策になりますが、その分効果も大きいため是非取組んでみてください。なお、自社内に技術者がいない場合や、どこから手を付けてよいか分からない場合は弊社まで気軽にお問合せください。

クローラビリティの改善に特化したクロール最適化代行をおこなっているため、WEBサイトの状況に合わせた最適化改善案をご提案させて頂きます。