「robots.txtテスター」の使い方をわかりやすく画像付きで解説

「robots.txtテスター」は、Googleサーチコンソールに含まれる機能の一つです。

robots.txtテスターを使うと、robots.txt（ロボッツ・テキスト）を使用している場合に、検索エンジンのクローラーのアクセスが正しく制御されているかどうかを確認できます。

robots.txt とは、User-agent：を指定し、Disallow（アクセス禁止）・Allow（アクセス許可）を記述することで、特定のページのクロール許可やクロールされないように指示できるファイルのことを指します。

robots.txtに構文ミスや記述の誤りがあると、「WEBサイト全体、あるいは必要なページがインデックスされなくなる」「重要なページが検索結果に表示されなくなる」など、致命的な問題につながりかねません。

このような致命的なミスを回避するためにも、robots.txtに記載されている内容や文法に誤りがないか確認するツールがrobots.txtテスターになります。

robots.txtを設定した場合は、robots.txtテスターで必ずチェックして、WEBサイトやページを効率的にインデックスさせていきましょう。

robots.txtファイルを作成した際に、決まった構文通りに書かないと検索エンジンのクローラーは理解してくれません。

そのような時に積極的に使いたいツールがrobots.txtテスターであり、robots.txtファイルの編集に大いに役立つ以下のような機能を使用できます。

• robots.txtの構文エラー確認
• robots.txtの動作テスト
• robots.txtの更新をGoogleに送信

これら3つの機能は、robots.txtファイルを作成する時や修正する時に活用できます。

基本的な使い方は、次の章で紹介します。

robots.txtテスター画面の確認方法は、以下のとおりです。
※robots.txtテスターを使用するにはGoogleサーチコンソールへの登録が必要です。

【参考記事】

1. こちらからrobots.txtテスターにログイン
2. 該当するWEBサイトURL（プロパティ）を選択
3. クロール済みのrobots.txtが表示されます

robots.txtテスター画面を開いたら、次はrobots.txtテスターの3つの機能の使い方をそれぞれ見てみましょう。

robots.txtテスター画面を開くと、すでに公開していてGoogleがクロール済みのrobots.txtの内容が表示されます。

構文エラーがある場合は、この画面の下に

赤字で「エラー数」
橙色で「警告数」

が表示され、誤りがある構文の横にエラーマークがつきます。

robots.txtテスターは、人間の目ではなかなか見つけづらい構文のミスをエラーで表示して教えてくれますが、URLの記述ミスまでは検知できないため細心の注意を払いながら入力しましょう。

例えば、robots.txtテスターを使うと以下のような記述ミスを指摘してくれます。

（正）Disallow: /wp/wp-admin/
（誤）Disalow: /wp/wp-admin/

クローラーのアクセスを制御するための「Disallow:」という記述を、「Disalow」とスペルミスをしているため構文エラーが表示されてしまっています。

また、構文エラーの他、正しい構文でない場合は警告が表示されます。警告マークにカーソルを合わせると、警告が表示される原因を具体的に指摘してくれるメッセージが表示されます。

▼ 構文エラーがある場合は左側に「×」が表示される

この機能では、追加したrobots.txtファイルの構文が問題なく機能しているかどうか、つまり特定のURLへのクロールの制御が正しく行われているかを確認できます。

robots.txtテスター画面の下部に、次のメッセージが表示されたフォームがあります。

「URLがブロックされているかどうかをテストするには、URLを入力してください」

ここに、動作テストをしたいURLのドメイン以下の部分（相対パス）を入力します。

フォームに入力したら「テスト」をクリックします。
※フォーム横にある項目はクロールロボットの種類です。デフォルトでは、GoogleのクロールロボットであるGooglebotが選択されています。

• ブロック済みの場合：赤字で「ブロック済み」というメッセージが表示されます。
• ブロックされていない場合：緑字で「許可済み」というメッセージが表示されます。

robots.txtの内容だけで確認するよりも、動作テストの機能を使ったほうが特定のURLがブロックされていることを目視で確認できるため便利です。

robots.txtテスターには編集画面がありますが、robots.txtの内容を更新した場合やフォルダを追加した場合は、以下の手順に沿ってrobots.txtファイルの更新内容をGoogleに伝える必要があります。

robots.txt画面で検証や編集が完了したら、編集画面の右下にある「送信」ボタンをクリックします。

「更新されたコードをダウンロード」の横にある「ダウンロード」ボタンをクリックすると、編集したrobots.txtがエディタからダウンロードされて、PC上にファイルとして保存されます。

保存したrobots.txtファイルをドメインのルートにアップロードします。サーバーによってアップロードをする場所が異なるため、不明な場合はサーバー会社に問い合わせましょう。

robots.txtファイルをアップロードしたら、「アップロードされたバージョンを確認」をクリックして、更新されたrobots.txtが公開されているかを確認します。

アップロードされたバージョンを確認して問題がなければ、「Googleに更新をリクエスト」の横にある「送信」をクリックして、robots.txtの内容が更新されたことをGoogleに知らせるためにリクエストを送信します。

ここまでの更新処理が完了すると、最新のrobots.txt情報がGoogleに伝わるようになっています。

robots.txtを作成するということは、特定のページへのアクセスを制御し、重要なコンテンツに対してクロールを集中させるなど、クロールを最適化するという効果をもたらします。

しかしながら、robots.txtの構文エラーは人間の目だけでは気づかないことが多いため、問題なく設定されているかどうかを確認するためにも、今回紹介した「robots.txtテスター」を積極的に活用していきましょう。

正しいrobots.txtを設定することでクロールを最適化できれば、不要なページへのクロール回数を減らし、重要なページへのクロール数を意図的に増やせるなど、SEOを改善させるためにも非常に効果的です。

以上、Googleサーチコンソールの「robots.txtテスター」の機能や使い方についての解説でした。