WEBマーケティングをもっと身近に。
SEO対策 2023/06/30

「robots.txtテスター」の使い方をわかりやすく画像付きで解説

「robots.txtテスター」の使い方をわかりやすく画像付きで解説のサムネイル画像です

本記事では、SEO対策をおこなう上で重要なクロールの最適化に欠かせないrobots.txtに記述する構文や、文法が間違っていないか、正しく記述され動作しているかを確かめることができる、Googleサーチコンソールの「robots.txtテスター」の使い方を分かりやすく画像付きで解説します。

1

「robots.txtテスター」とは?

「robots.txtテスター」は、Googleサーチコンソールに含まれる機能の一つです。

robots.txtテスターを使うと、robots.txt(ロボッツ・テキスト)を使用している場合に、検索エンジンのクローラーのアクセスが正しく制御されているかどうかを確認できます。

robots.txt とは、User-agent:を指定し、Disallow(アクセス禁止)・Allow(アクセス許可)を記述することで、特定のページのクロール許可やクロールされないように指示できるファイルのことを指します。

robots.txtに構文ミスや記述の誤りがあると、「WEBサイト全体、あるいは必要なページがインデックスされなくなる」「重要なページが検索結果に表示されなくなる」など、致命的な問題につながりかねません。

このような致命的なミスを回避するためにも、robots.txtに記載されている内容や文法に誤りがないか確認するツールがrobots.txtテスターになります。

robots.txtを設定した場合は、robots.txtテスターで必ずチェックして、WEBサイトやページを効率的にインデックスさせていきましょう。

1-1

robots.txtテスターの3つの機能

robots.txtファイルを作成した際に、決まった構文通りに書かないと検索エンジンのクローラーは理解してくれません。

そのような時に積極的に使いたいツールがrobots.txtテスターであり、robots.txtファイルの編集に大いに役立つ以下のような機能を使用できます。

  • robots.txtの構文エラー確認
  • robots.txtの動作テスト
  • robots.txtの更新をGoogleに送信


これら3つの機能は、robots.txtファイルを作成する時や修正する時に活用できます。

基本的な使い方は、次の章で紹介します。

2

robots.txtテスターの基本的な使い方

robots.txtテスター画面の確認方法は、以下のとおりです。
※robots.txtテスターを使用するにはGoogleサーチコンソールへの登録が必要です。


  1. こちらからrobots.txtテスターにログイン
  2. 該当するWEBサイトURL(プロパティ)を選択
  3. クロール済みのrobots.txtが表示されます
クロール済みのrobots.txt


robots.txtテスター画面を開いたら、次はrobots.txtテスターの3つの機能の使い方をそれぞれ見てみましょう。

2-1

robots.txtを使った構文エラーの確認方法

robots.txtテスター画面を開くと、すでに公開していてGoogleがクロール済みのrobots.txtの内容が表示されます。

構文エラーがある場合は、この画面の下に

赤字で「エラー数
橙色で「警告数

が表示され、誤りがある構文の横にエラーマークがつきます。

robots.txtテスターは、人間の目ではなかなか見つけづらい構文のミスをエラーで表示して教えてくれますが、URLの記述ミスまでは検知できないため細心の注意を払いながら入力しましょう。

robots.txtテスター エラー数


例えば、robots.txtテスターを使うと以下のような記述ミスを指摘してくれます。

(正)Disallow: /wp/wp-admin/
(誤)Disalow: /wp/wp-admin/


クローラーのアクセスを制御するための「Disallow:」という記述を、「Disalow」とスペルミスをしているため構文エラーが表示されてしまっています。

また、構文エラーの他、正しい構文でない場合は警告が表示されます。警告マークにカーソルを合わせると、警告が表示される原因を具体的に指摘してくれるメッセージが表示されます。

▼ 構文エラーがある場合は左側に「×」が表示される

構文エラー
2-2

robots.txtを使った動作テストの方法

この機能では、追加したrobots.txtファイルの構文が問題なく機能しているかどうか、つまり特定のURLへのクロールの制御が正しく行われているかを確認できます。

STEP1. フォームにURLの一部を入力する

robots.txtテスター画面の下部に、次のメッセージが表示されたフォームがあります。

「URLがブロックされているかどうかをテストするには、URLを入力してください」

ここに、動作テストをしたいURLのドメイン以下の部分(相対パス)を入力します。

STEP2. 「テスト」をクリック

フォームに入力したら「テスト」をクリックします。
※フォーム横にある項目はクロールロボットの種類です。デフォルトでは、GoogleのクロールロボットであるGooglebotが選択されています。

STEP3. メッセージを確認する

  • ブロック済みの場合:赤字で「ブロック済み」というメッセージが表示されます。
  • ブロックされていない場合:緑字で「許可済み」というメッセージが表示されます。


robots.txtの内容だけで確認するよりも、動作テストの機能を使ったほうが特定のURLがブロックされていることを目視で確認できるため便利です。

robots.txt 動作テスト
2-3

robots.txtテスターを使った送信方法

robots.txtテスターには編集画面がありますが、robots.txtの内容を更新した場合やフォルダを追加した場合は、以下の手順に沿ってrobots.txtファイルの更新内容をGoogleに伝える必要があります。

STEP1. 「送信ボタン」をクリック

robots.txt画面で検証や編集が完了したら、編集画面の右下にある「送信」ボタンをクリックします。

STEP2. 「ダウンロード」をクリック

「更新されたコードをダウンロード」の横にある「ダウンロード」ボタンをクリックすると、編集したrobots.txtがエディタからダウンロードされて、PC上にファイルとして保存されます。

STEP3. 保存したrobots.txtファイルをアップロードする

保存したrobots.txtファイルをドメインのルートにアップロードします。サーバーによってアップロードをする場所が異なるため、不明な場合はサーバー会社に問い合わせましょう。

STEP4. 「アップロードされたバージョンを確認」をクリック

robots.txtファイルをアップロードしたら、「アップロードされたバージョンを確認」をクリックして、更新されたrobots.txtが公開されているかを確認します。

STEP5. 「送信」をクリック

アップロードされたバージョンを確認して問題がなければ、「Googleに更新をリクエスト」の横にある「送信」をクリックして、robots.txtの内容が更新されたことをGoogleに知らせるためにリクエストを送信します。

ここまでの更新処理が完了すると、最新のrobots.txt情報がGoogleに伝わるようになっています。

robots.txtファイルの更新内容をGoogleに伝える方法
3

まとめ

robots.txtを作成するということは、特定のページへのアクセスを制御し、重要なコンテンツに対してクロールを集中させるなど、クロールを最適化するという効果をもたらします。

しかしながら、robots.txtの構文エラーは人間の目だけでは気づかないことが多いため、問題なく設定されているかどうかを確認するためにも、今回紹介した「robots.txtテスター」を積極的に活用していきましょう。

正しいrobots.txtを設定することでクロールを最適化できれば、不要なページへのクロール回数を減らし、重要なページへのクロール数を意図的に増やせるなど、SEOを改善させるためにも非常に効果的です。

以上、Googleサーチコンソールの「robots.txtテスター」の機能や使い方についての解説でした。

ホワイトリンク 記事内用バナー


この記事を書いたライター

SEO施策部

SEMを軸にSEOの施策を行うオルグロー内の一部署。 サイト構築段階からのSEO要件のチェックやコンテンツ作成やサイト設計までを一貫して行う。社内でもひときわ豊富な知見を有する。またSEO歴15年超のノウハウをSEOサービスに反映し、3,000社を超える個人事業主から中堅企業までの幅広い顧客層に向けてビジネス規模にあった施策を提供し続けている。

RECOMMENDED ARTICLES

ぜひ、読んで欲しい記事

  • XMLサイトマップとは?必要性と作り方・設定方法を解説のサムネイル画像です
    SEO対策
    2024/03/04

    XMLサイトマップとは?作り方と必要性・確認方法を解説

    2024/03/04

  • リンク切れとは?原因・対処法・対策とSEOへの影響を解説のサムネイル画像です
    SEO対策
    2024/03/04

    リンク切れとは?一括で見つける方法・原因と対策について解説

    2024/03/04

  • Googleにインデックスされない原因と対処法12選のサムネイル画像です
    SEO対策
    2024/02/20

    Googleにインデックスされない原因と対処法12選

    2024/02/20

  • サブドメインとは?サブディレクトリとの違いや使用例・目的まで徹底解説のサムネイル画像です
    SEO対策
    2024/02/15

    サブドメインとは?メリット・デメリットと作り方を分かりやすく解説

    2024/02/15

  • robots.txtとは?書き方のルール・設定方法を解説のサムネイル画像です
    SEO対策
    2024/02/14

    robots.txtとは?書き方のルール・設定方法を解説

    2024/02/14

  • 301リダイレクトとは?設定方法と.htaccessの書き方についてのサムネイル画像です
    SEO対策
    2024/02/13

    301リダイレクトとは?設定方法と.htaccessの書き方について

    2024/02/13

backtotop