robots.txtチェッカー＆テスター

robots.txtチェッカーでできること

robots.txtは、ウェブサイトのルート（https://example.com/robots.txt）に置かれるプレーンテキストのファイルで、クローラーがどのURLを取得してよいかを指示します。たった1行の間違いで、サイト全体がGoogleから見えなくなったり、AIクローラーに読ませたくないページを読まれたりすることがあります。

このチェッカーは、クローラーと同じ方法でファイルをダウンロードし、Googleと同じマッチングのロジックですべてのルールを読み取ります。そのうえで、任意のURLと任意のボットについて許可かブロックか、そしてどの行が判定を決めたのかを表示します。GoogleはSearch Consoleのrobots.txtテスターを2023年12月に廃止したため、ルールを変更する前後のテストにすばやく使えます。

robots.txtをテストする方法

クローラーがrobots.txtを読む仕組み

Google、Bingをはじめ、ルールを守るクローラーの多くは、robots.txtの標準規格であるRFC 9309に従います。ほとんどの判定は、次の4つのルールで決まります。

robots.txtのHTTPステータスの意味

クローラーは、ルールを1行も読む前に応答コードで動作を決めます。Googleはそれぞれのケースを次のように扱います。

robots.txtでAIクローラーをブロックする方法

AI企業は、モデルの学習、AI検索、オンデマンドの取得にそれぞれ別のクローラー名を使っているため、1つだけをブロックして他は許可できます。Google-ExtendedをブロックするとコンテンツがGeminiに使われなくなりますが、Google検索には影響しません。一方、Googlebotをブロックすると検索に影響します。

チェッカーのAIクローラーの表では、13種類のAIボットのうちどれがrobots.txtで許可されているかがひと目でわかります。主な学習用クローラーをブロックするには、次の内容を追加します。

robots.txtのよくある間違い

• ステージング環境から残った`Disallow: /`はすべてをブロックします。新しいサイトがいつまでもGoogleに表示されない原因として最も多いものです。

• robots.txtでページを隠そうとする。 ブロックされたURLでも、リンクをもとに説明文なしでインデックスされることがあります。ページを検索結果から外すには、クロールを許可したうえでnoindexメタタグかX-Robots-Tagヘッダーを追加してください。

• robots.txt内の`Noindex:`行。 Googleは2019年9月にサポートを終了しており、無視されます。

• CSSとJavaScriptのブロック。 Googleはブラウザと同じようにページをレンダリングするため、これらのファイルをブロックするとページが崩れて見えることがあります。

• 大文字と小文字の違い。 ディレクティブ名は大文字・小文字を区別しませんが、パスは区別します。Disallow: /Admin/では/admin/はブロックされません。

• すべてのサブドメインで1つのファイルを使う。 robots.txtが適用されるのは、同じホストとプロトコルだけです。blog.example.comには専用のファイルが必要です。

• GoogleへのCrawl-delay指定。 GooglebotはCrawl-delayを無視します。Bingは従います。

robots.txtの記述例

必要なパターンをコピーしたら、ファイル全体をチェッカーに貼り付けてテストしてください。

その他のSEO・クロール関連ツール

クロール設定のほかの部分も作成・チェックできます。