Robots.txtファイルとは？
robots.txtは、ウェブサイトのルートディレクトリ（例：example.com/robots.txt）に配置するテキストファイルで、検索エンジンのクローラーやボットにアクセス可能なページとアクセス不可のページを指示します。Robots Exclusion Protocol標準に従います。
robots.txtはあくまでアドバイスであり強制力はありませんが、GoogleやBingなどの主要な検索エンジンはrobots.txtのディレクティブを尊重します。サイトマップ生成ツールと組み合わせて使用することを推奨します。
Robots.txtファイルの作成方法
当社のrobots.txt生成ツールを使えば、数秒でファイルを作成できます。
1
プリセットを選択
全許可、全ブロック、標準、AIボットブロックの4つのプリセットから選択、またはゼロから作成。
2
ルールを追加
User-Agentを選択し、特定のパスにAllowまたはDisallowディレクティブを設定。
3
Sitemapを設定
オプションでSitemap URLとcrawl-delayを設定。
4
ダウンロード
生成されたファイルをダウンロードしてウェブサイトのルートディレクトリにアップロード。
AIボットのブロック方法
AIクローラーによるコンテンツのスクレイピングをブロックするには、robots.txtに特定のUser-AgentとDisallowルールを追加します。当社のジェネレーターには「AIボットブロック」プリセットがあり、ワンクリックで主要なAIボットルールを追加できます。
OpenAI (GPTBot)をブロック:
User-agent: GPTBot
Disallow: /Anthropic (ClaudeBot)をブロック:
User-agent: ClaudeBot
Disallow: /Google AI Training (Google-Extended)をブロック:
User-agent: Google-Extended
Disallow: /Robots.txtの一般的な例
よく使われるrobots.txt設定の例を以下に示します。
全クローラーを許可:
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml管理画面をブロック:
User-agent: *
Disallow: /admin/
Disallow: /wp-admin/
Allow: /関連ツール
Robots.txt生成ツールに関連する他のDNS Robotツールもご活用ください。