クローラビリティとは？改善・向上させる方法10選

「クローラビリティ」、SEOに普段から関わっている人でなければ耳慣れない言葉かもしれません。

クローラビリティを簡単にご説明すると、まず、皆さんが普段使っている「Web検索」から考えなければいけません。Web検索は、GoogleやBingといった検索エンジンがインターネットでつながっている情報を収集し、キーワードにふさわしいであろう情報を一覧にして検索結果に表示します。

この、情報を収集する行為を「クローリング」と言い、クローリングするロボットを「クローラー」、クローリングするロボットの情報収集しやすさを「クローラビリティ（Crawlavility）」と言います。

検索エンジンは膨大な量の情報を収集しますので、情報収集をクローラーと言うロボット（ソフト）に任せています。ロボットなので疲れは知りませんし、休むこともありません。

しかし、インターネット上で生まれては消えるWebサイト、Webページを順番に這い回るわけですから、ロボットも目立つところや訪問しやすいところから巡回します。つまり、ロボットが見つけやすく、認識しやすいWebサイトにすることを「クローラビリティを上げる」と言います。

クローラビリティを考える意味について、いきなり答えを言ってしまうと「検索対策のため」です。

多くのWebサイトが世の中にある中で、広告や自分で紹介する以外の方法で自分の運営するWebサイトを見てもらうためには、検索エンジンによって検索結果の一覧に自分のWebサイトを並べてもらう必要があります。

検索エンジンに認識してもらうためにはクローラーに情報を読み取ってもらわなければいけませんので、クローラーには「早くWebサイトを見つけてもらいたい」ですし、「早く情報を検索エンジンに届けてもらいたい」ものです。

検索エンジンに情報が届き、登録（インデックス）されて初めて検索結果の一覧に情報を並べてもらう準備が整います。

クローラビリティを上げることはインデックスの促進をすることにつながります。では、どのようにインデックスを早めたら良いのでしょうか？次の項目から順にご説明していきます。

クローリングをしやすくするためには、クローラーの特性を理解する必要があります。クローラーの好みを理解していなければ、クローリングがしやすいサイトにはなりません。

ちなみに、クローラーは様々なクローラーがあり、様々な国の様々な会社が「パソコン用」「モバイル用」「画像取得用」「企業名収集用」等、多様なクローラーを用いています。

基本的にこの記事をご覧になっている方々は、いわゆるWeb検索の対策をお考えの方だと思いますので、以降「クローラー」についての前提は、Googleのクローリングロボット（Googlebot）を前提にお話しさせていただきます。

クローラーは通常のWebサイトを閲覧する通信プロトコルと同じものを使用して移動します。クローラーをブロックしていなければ、Webサイト上で閲覧できる情報はすべて取得可能です。

▼ 取得できるファイル例として、以下のようなものがあります。

ただし、お問合せフォームのような認証が必要なページや、管理者用のログインが必要なページから先の情報は取得できません。

クローラーはインターネットを経由してWebサイトにやってきます。従って、インターネットに接続された環境になく、外部との繋がりがないファイルにクローラーがアクセスすることはできません。

新規サイトのように外部からのリンクがない場合は、サーチコンソールからグーグルに住所（URL）を送信することで、クローラーの巡回を依頼することができます。

クローラーはリンクを辿って常に巡回しています。その動きは、主に「既にインデックスされているページのリンクを辿る」動きと、前項で説明した、サーチコンソールからの「インデックス申請によって指定されたURLを参照する」動きになります。

そして、訪問した先の情報をHTMLのソースによって、文字情報として上から読み取っていきます。

簡単に説明しましたが、上記している特性を覚えておいてください。次の項目からは実際にクローラビリティを上げる方法についてのご説明です。

クローラーは「取得できる情報のすべてを、リンクを辿って読み取っている」わけですから、それを踏まえたWebサイトを作ることがクローラビリティを上げることに繋がります。

「クローラーが動きやすいサイト」は、大きく以下のことができているサイトです。

ディレクトリが深く、複雑なサイトをクローラーは好みません。TOPページからの距離が遠くなり、リンクの構造が複雑になると、階層の深いページはインデックスされにくくなります。サイトの深さは、３～４階層程度に抑えることを心がけましょう。

例）TOPページ＞商品一覧ページ＞商品詳細ページ

また、階層の深いページの管理は往々にして疎かになりがちです。接続先がないまま放置されることも少なくありませんので、管理しやすいページ構成にすることがおすすめです。

XMLサイトマップは、サイト内のページの一覧を書いた目次ファイルです。XMLサイトマップを設置することによって、クローラーはサイト内のページの重要度や設置されている場所を見つけやすくなります。

また、ページの更新時にもXMLサイトマップに更新情報を書き加えることで、クローラーは差分を見つけやすくなりますので、クローリングしやすくなります。

※ XMLサイトマップを作成したらサーチコンソールから送信しておきましょう。

【関連記事】

【関連記事】

グローバルナビゲーション・サイドメニュー・フッターメニューといった内部リンクをしっかりとどのページにも設置しましょう。

ページによってメニューが存在しない作り方をしているサイトを見かけることがありますが、クローラーはリンクを辿ってサイト内を巡回しますので、メニューの存在しないページからは移動し辛くなってしまいます。きちんとどのページからもサイト遷移できる構造を意識しましょう。

【関連記事】

パンくずリストの設置によってページの階層が明確になり、現在地の把握がしやすくなります。パンくずはヘンゼルとグレーテルの童話に由来し、サイト内の道案内の役割をしてくれます。

ユーザーにとっては、パンくずリストがあることによって帰り道が明確になるものですが、クローラーにとっては適切なカテゴリを案内するものでもあり、Webサイトの中を巡回するための内部リンクでもあります。

さらに、クローラーに対しては、パンくずリストの存在をアピールするために「構造化」を行っておくとよいでしょう。

【関連記事】

正規化していないWebサイトのように、同じコンテンツを持つページが二重に存在するとクローラーも二重に巡回することになります。クローラビリティを上げるためにも重複するページは無くしましょう。

また、サイト改修などによってページを移動した際に起こりがちなことですが、リンク切れしているソースをそのまま残すと、クローラーはリンク切れのページやコンテンツを読み取りにいってしまいます。

Not Foundとなるリンクは削除し、常にアクティブなリンクでページ同士が繋がっている状態を目指しましょう。

ページの重要度が低いページや、検索インデックスさせたくないページにはnoindexタグの設定をおこないましょう。無駄なクローリングを制御することがクローリングを早めることに繋がります。

また、リダイレクト処理などの設定によってクローラーがループしてしまうことがあります。主に404エラーの回避に使われるリダイレクトが原因となっていることが多いようですが、リンク切れをすべてホームページへリダイレクト設定する場合などは気を付けてください。

クローラーに無駄な動作をさせないように設定することが重要です。

【関連記事】

クローラーの動きが悪くなる方の説明からになりますが、画像やプログラムデータ等、ページの表示が遅くなるほど重いデータを組み込んでいた場合、クローラーが持ち帰れる情報量を超えてしまうことがあります。

クローラーも、かかる負荷が高くなると動きが悪くなります。反対に情報量を圧縮してデータを軽くすることによってクローラビリティが上がります。

HTML・CSS等のソースコードを圧縮してminifyする、画像サイズを適切な大きさに保つなど、ページの表示速度を上げる施策がクローラビリティを上げることにつながります。

クローラーの巡回もユーザーがアクセスしているのと同様にサーバーに負荷をかけます。クローラーの巡回に対して反応良くレスポンスを返せるように、サーバーのパフォーマンスを上げることでクローリング速度が上がります。

また、データベースを最適な状態に保つことや、robot.txtの設定で不要なクローラーをブロックしてしまうことでもサーバーパフォーマンスを維持することにつながります。サーバーの負荷を軽減し。適切なHTTPステータスを返せるようにしておくと良いでしょう。

何度もお伝えしている内容になりますが、クローラーの移動経路はインターネットのリンクです。外部からのリンクが数多くつながることによって、クローラーの訪問頻度が上がります。

クローラーの移動経路が集中し、密になることで、クローラーから発見されやすくなり、クローラーも多くの経路から訪問してくることになります。SNSなどを活用して発信力を強めることはクローラビリティの向上になります。

【関連記事】

もっとも直接的な方法です。Googleに直接クローリングを依頼しましょう。3-3の項目で触れた内容ですが、サーチコンソールからはGoogleに直接クローリングの依頼をすることが可能です。

「新しくページが増えた」「ページのコンテンツが変更されてリンク先が変わった」など、Webサイトの状況が変わったときは、サーチコンソールからインデックスの申請を行いましょう。

サーチコンソールは、インデックス申請ができるだけではなく、各ページのインデックス状況や、問題点を確認することもできますので、是非活用するようにしてください。

① 左メニューのURL検査をクリックすると上部にURLを入力することができ、検査結果画面でインデックスの状況を確認することができます。

② 検査結果画面の「インデックス登録をリクエスト」を行うことでクローラーを指定のURLに呼ぶことができます。

【関連記事】

サーチコンソールを利用することで、クローリングの状況を確認することができます。

左メニューの設定ボタンから、設定メニューの中央部にあるクロールから、「レポートを開く」をクリックするとクロールの状況がグラフで表示されます。

グラフにカーソルを合わせると、1日当たりのクロール状況を確認できます。

検索窓で「site:https://〇〇〇〇.co.jp/△△△△/」のように「site:~~~」でURLを検索すると、Googleでインデックスされていれば検索結果画面に指定URLのページが表示されます。

検索結果に表示されない場合、インデックス処理が完了していません。新規のページがインデックスされるのに数時間～数日のズレがありますので、期間を空けて再度調べるようにしてください。

クローラビリティとは、検索インデックスのしやすさのことで、クローラビリティを向上させることで検索上位対策に役立ちます。クローラーロボットは、早く表示されてリンク経路を辿りやすいWebサイトを好みます。

ユーザーライクなサイトを作ることである程度クローラビリティの良いサイトにすることはできますが、人が普段見ることのないところにも配慮して、クローリングロボットも快適に動けるサイトを意識してみてください。