Ferramentas populares

Tema

Gerador de Robots.txt

Crie um robots.txt em que você pode confiar: cada regra explicada enquanto você digita, o arquivo relido pelo nosso verificador de robots.txt segundo a RFC 9309 e a leitura do próprio Google, e um veredito ao vivo para qualquer rastreador e qualquer caminho antes de publicar.

Predefinições montadas a partir da documentação do WordPress, do Shopify, do Next.js e do Google · os rastreadores que cada operador documenta, por finalidade · a regra decisiva com a linha dela · escrito no seu navegador, nada é enviado
Escrito e verificado no seu navegador

Um arquivo por host e protocolo: www.example.com e example.com precisam de um cada.

Começar com
O que faz
  • Todo rastreador pode buscar todas as URLs do site.
  • A linha Sitemap: mostra aos rastreadores onde está o seu sitemap.
O que não faz
  • Não deixa nada privado: o robots.txt é um arquivo público, e um pedido, não uma tranca.
  • Não pede a um buscador que indexe uma página. Rastreamento e indexação são coisas separadas.

Fonte: RFC 9309, consultada em 26 de outubro de 2026.

Regras

Todos os outros rastreadores

User-agent: *

Lido por todo rastreador que não tem grupo próprio.

  • Permite o site inteiro.
O Google o ignora; o Bing o lê.

Rastreadores por finalidade

Escolha o que cada rastreador conhecido recebe. Um rastreador com grupo próprio lê só esse grupo.

Buscadores8

Rastreiam para montar um índice de busca. Páginas bloqueadas ainda podem ser listadas por links de outros lugares, mas sem nada lido delas.

  • GooglebotGoogleSim, diz o operador
  • Storebot-GoogleGoogleSim, diz o operador
  • BingbotMicrosoftSim, diz o operador
  • ApplebotAppleSim, diz o operador
  • Amzn-SearchBotAmazonSim, diz o operador
  • DuckDuckBotDuckDuckGoSim, diz o operador
  • YandexBotYandexSim, diz o operador
  • BaiduspiderBaiduO operador não diz
Treinamento de IA6

Coletam páginas para treinar modelos. Um token separado permite recusar o treinamento e continuar aparecendo nos resultados de busca.

  • Google-ExtendedGoogleSó um token, nunca enviado numa requisição
  • GPTBotOpenAISim, diz o operador
  • ClaudeBotAnthropicSim, diz o operador
  • Applebot-ExtendedAppleSó um token, nunca enviado numa requisição
  • meta-externalagentMetaSim, diz o operador
  • AmazonbotAmazonSim, diz o operador
Respostas de IA4

Buscam páginas para responder a perguntas com um link de volta para você.

  • OAI-SearchBotOpenAISim, diz o operador
  • Claude-SearchBotAnthropicSim, diz o operador
  • PerplexityBotPerplexitySim, diz o operador
  • meta-webindexerMetaSim, diz o operador
A pedido de uma pessoa5

Buscam uma página porque uma pessoa pediu, por isso alguns operadores dizem que eles podem ignorar o robots.txt.

Recusar estes é recusar uma pessoa, não um rastreamento: quando alguém pede a um assistente de IA que abra uma das suas páginas, um assistente que obedece ao arquivo não vai lê-la para essa pessoa. Se o que você quer barrar é o treinamento, recuse os rastreadores de treinamento acima.

  • ChatGPT-UserOpenAINem sempre, diz o operador
  • Claude-UserAnthropicSim, diz o operador
  • Perplexity-UserPerplexityNem sempre, diz o operador
  • meta-externalfetcherMetaNem sempre, diz o operador
  • Amzn-UserAmazonNem sempre, diz o operador
Prévias, anúncios e outros8

Prévias de links, ferramentas do dono do site, verificações de anúncios, arquivos da web e rastreadores cujos operadores declaram outra função, ou nenhuma.

  • Google-InspectionToolGoogleSim, diz o operador
  • GoogleOtherGoogleSim, diz o operador
  • AdsBot-GoogleGoogleSim, diz o operador
  • OAI-AdsBotOpenAIO operador não diz
  • facebookexternalhitMetaNem sempre, diz o operador
  • meta-externaladsMetaSim, diz o operador
  • BytespiderByteDanceO operador não diz
  • CCBotCommon CrawlSim, diz o operador

Sitemaps

  • Digite seu site acima e isto se preenche sozinho.

O arquivo

1 aviso

Seu robots.txt/robots.txt

2 linhas
  1. User-agent: *
  2. Allow: /

ErroAvisoNota23 B de 500 KiB

O que o verificador diz

1 aviso

  • Sem linha SitemapAviso

    O que fazer É a linha mais barata do arquivo, e todo rastreador a lê. Acrescente Sitemap: com o endereço completo do seu sitemap.

Teste antes de publicar

Escolha um rastreador e um caminho: o veredito, a regra que o decide e o grupo que o rastreador lê vêm do próprio algoritmo de correspondência do Verificador de Robots.txt.

Experimente um caminho
Rastreador

  • Este rastreador pode pedir esta URL.

    Grupo escolhido

    User-agent: *começa na linha 1

    Nenhum grupo cita este rastreador, então vale o grupo *.

    Decidido por

    Allow: /linha 2

    A mesma regra também pega

    /any-page

    O que foi comparado

    /

    Só o caminho e a consulta são comparados, byte a byte, depois da codificação percentual. O host, o protocolo e o fragmento nunca fazem parte de uma regra.

Como criar um arquivo robots.txt

Escreva as regras, salve-as num arquivo de texto simples chamado robots.txt, codificado em UTF-8, e suba-o para o nível mais alto do seu site, para que ele responda em https://example.com/robots.txt. Não há nada para enviar: os rastreadores pedem esse endereço por conta própria.

O Google resume em três frases: “O arquivo precisa ter o nome robots.txt. O site pode ter somente um arquivo robots.txt. O arquivo robots.txt precisa estar localizado na raiz do host do site a que se refere.” Ele precisa ser “um arquivo de texto codificado em UTF-8”, e “os rastreadores do Google vão encontrar e começar a usar seu arquivo robots.txt automaticamente.”

O gerador acima parte de uma predefinição, explica cada regra enquanto você digita e relê o resultado com o analisador e o algoritmo de correspondência do nosso verificador de robots.txt antes de você copiá-lo. O download se chama robots.txt: UTF-8 sem marca de ordem de bytes, só quebras de linha LF e nenhuma data ou comentário que você não tenha pedido.

Quatro passos das regras a um robots.txt que funciona
  1. 1Escreva as regrasComece por uma predefinição e acrescente os grupos e caminhos de que o seu site precisa.
  2. 2Salve como robots.txtTexto simples, UTF-8, sem marca de ordem de bytes.
  3. 3Suba para a raizEle precisa responder no topo do host:https://example.com/robots.txt
  4. 4TesteAqui antes de publicar, e depois o arquivo no ar com o Verificador de Robots.txt.

Não há etapa de envio: os rastreadores do Google encontram o arquivo sozinhos.

Gerador de robots.txt: a predefinição WordPress, cada regra explicada, o arquivo com números de linha e os problemasGerador de robots.txt: a predefinição WordPress, cada regra explicada, o arquivo com números de linha e os problemasO que a predefinição fazE o que ela não faz: nenhuma destas predefinições mantém uma página fora do Google, e cada uma diz isso.Cada regra explicadaOs caminhos que uma regra bloqueia e os que ela deixa passar, pelo mesmo algoritmo de correspondência que decide cada veredito, e a regra mais longa que abre uma exceção.O arquivo e os problemasO arquivo com os números de linha, relido pela própria auditoria do Verificador de Robots.txt antes de você copiá-lo.O vereditoEscolha um rastreador e um caminho: permitido ou bloqueado, a regra que decidiu com a linha dela e o grupo que o rastreador lê.
A predefinição WordPress no gerador: o que ela faz e o que não faz, cada regra explicada pelo algoritmo de correspondência, o arquivo como vai ser publicado e o veredito para um rastreador e um caminho. Selecione um número para ver o que cada parte mostra.

O que vai num arquivo robots.txt, linha por linha

Grupos e linhas Sitemap. Um grupo começa com uma ou mais linhas User-agent que citam rastreadores, seguidas das regras Allow e Disallow que esses rastreadores obedecem; uma linha Sitemap fica sozinha, fora de todos os grupos.

A RFC 9309 define um grupo como “uma ou mais linhas user-agent seguidas de uma ou mais regras”, e um rastreador obedece a exatamente um grupo: o que cita o próprio token de produto dele, ou o grupo * quando nenhum cita. O Google lê quatro campos e nenhum outro: user-agent, allow, disallow e sitemap.

Os nomes dos campos não diferenciam maiúsculas de minúsculas; os caminhos, sim: no próprio exemplo do Google, disallow: /file.asp é aplicado em /file.asp, “mas não em” /FILE.asp. Uma linha Sitemap: precisa ser um endereço completo, com o protocolo e o host; este gerador recusa qualquer outro formato e diz por quê.

Um robots.txt, linha por linha
robots.txt
  1. 1User-agent: *Começa um grupo para todo rastreador sem grupo próprio
  2. 2Disallow: /cart/Um caminho que estes rastreadores não podem buscar
  3. 3Allow: /cart/helpUma exceção: mais longa que o Disallow, então vence
  4. 4
  5. 5User-agent: GPTBotComeça um grupo que cita dois rastreadores
  6. 6User-agent: ClaudeBot
  7. 7Disallow: /Os dois são recusados no site inteiro
  8. 8
  9. 9Sitemap: https://www.example.org/sitemap.xmlFora de todos os grupos: um endereço completo

Allow x Disallow, * e $: como uma regra corresponde a uma URL

Quando várias regras correspondem a uma URL, vence a que tem o caminho mais longo, seja de que tipo for, e um Allow vence o empate. * vale por qualquer sequência de caracteres e $ marca o fim da URL; nada mais num caminho é especial.

RFC 9309: “A correspondência mais específica encontrada DEVE ser usada. A correspondência mais específica é a que tem mais octetos”, e “se uma regra allow e uma regra disallow forem equivalentes, a regra allow DEVERIA ser usada.” O próprio arquivo do WordPress funciona assim: Disallow: /wp-admin/ fecha a pasta, e o Allow: /wp-admin/admin-ajax.php, mais longo, abre um arquivo dentro dela.

Uma regra sem $ é um prefixo, então Disallow: /admin também bloqueia /administrator; acrescente a barra (/admin/) quando quiser dizer a pasta. Embaixo de cada regra, o editor acima mostra os caminhos que ela pega e alguns que ela não pega, pelo mesmo algoritmo de correspondência que decide cada veredito, e aponta uma regra que outra sempre vence.

* e $, e o que cada padrão pega de verdade
PadrãoPegaNão pega
/admin/admin/ · /administrator · /admin-tools/wp-admin
/admin//admin/users/administrator
/*.pdf$/files/report.pdf/report.pdf?v=2
/*?/search?q=x/search

?, ., [ e + são caracteres comuns. Não existem expressões regulares no robots.txt.

Duas regras correspondem a uma URL: o caminho mais longo vence
/admin/report.pdf
  • Disallow: /admin/7 caracteres
  • Allow: /admin/report.pdf17 caracteres

O Allow vence: ele corresponde a uma parte maior do caminho.

Um empate exato
Disallow: /files/7 caracteresAllow: /files/7 caracteres

Comprimento igual, então o Allow vence. “A regra menos restritiva”, como diz o Google.

O arquivo de exemplo pertence a www.example.org, um site inventado: nenhum robots.txt real aparece como quebrado.

robots.txt para WordPress, Shopify e Next.js

Os três já servem um, e as predefinições acima escrevem o que a documentação de cada plataforma descreve: o WordPress recusa a área administrativa mas permite o admin-ajax.php, o Shopify recusa carrinhos, checkouts e coleções filtradas ou ordenadas, e o Next.js serve o arquivo que você coloca em app/robots.txt.

O WordPress escreve o arquivo dele em código, em do_robots(): User-agent: *, um Disallow para o caminho da administração e um Allow para o admin-ajax.php e, num site público, desde o WordPress 5.5, uma linha Sitemap: para /wp-sitemap.xml. Com “Evitar que mecanismos de busca indexem este site” marcado, o WordPress 5.3 e as versões seguintes não escrevem mais Disallow: /; usam uma meta tag robots no lugar.

O Shopify diz que o arquivo padrão dele “funciona para a maioria das lojas”. Não há arquivo para subir: mudá-lo significa editar o modelo robots.txt.liquid do tema, o que o Shopify chama de “uma personalização sem suporte”. O Next.js serve o app/robots.txt como foi escrito, ou monta o arquivo a partir do app/robots.ts.

O que o WordPress, o Shopify e o Next.js servem, e onde você muda isso
WordPress
  1. 1User-agent: *
  2. 2Allow: /wp-admin/admin-ajax.php
  3. 3Disallow: /wp-admin/
  4. 4
  5. 5Sitemap: https://example.com/wp-sitemap.xml

Escrito pelo próprio WordPress. Mude com um plugin ou com o filtro robots_txt.

Shopify
  1. 1User-agent: *
  2. 2Allow: /
  3. 3Disallow: /admin
  4. 4Disallow: /cart/
  5. 5Disallow: /checkout
  6. 6Disallow: /checkouts/
  7. 7Disallow: /account
  8. 8Disallow: /orders
  9. 9Disallow: /collections/*+*
  10. 10Disallow: /collections/*sort_by*
  11. 11
  12. 12Sitemap: https://example.com/sitemap.xml

O padrão do Shopify. Mude no modelo robots.txt.liquid do tema.

Next.js
  1. 1User-agent: *
  2. 2Allow: /
  3. 3
  4. 4Sitemap: https://example.com/sitemap.xml

Seu próprio arquivo em app/robots.txt, ou app/robots.ts, servido em /robots.txt.

Cada arquivo é o que a predefinição de mesmo nome escreve para example.com.

Bloquear rastreadores de IA: o que funciona de verdade

Um grupo que cita o rastreador, com Disallow: / embaixo, funciona para todo rastreador cujo operador diz que ele obedece ao robots.txt, e só para esses. É um pedido que o rastreador atende, não uma tranca: um rastreador que ignora o arquivo ainda pode buscar todas as páginas.

A maioria das empresas de IA tem mais de um rastreador, então decida função por função. Recusar um rastreador de treinamento como o GPTBot ou o ClaudeBot recusa o que coleta páginas para modelos; recusar um rastreador de respostas como o OAI-SearchBot ou o PerplexityBot também tira você dos links que esses assistentes mostram. O token de treinamento do Google não é o Googlebot: “O Google-Extended não afeta a inclusão de um site na Pesquisa Google nem é usado como um indicador de classificação na Pesquisa Google.”

O terceiro tipo é diferente. O ChatGPT-User, o Claude-User, o Perplexity-User e o Amzn-User buscam uma página porque uma pessoa pediu a um assistente que a abrisse, então recusá-los é recusar essa pessoa, e alguns dos operadores dizem que esses rastreadores podem ignorar o robots.txt de qualquer forma. A lista de rastreadores acima os mantém numa seção própria por esse motivo.

As três funções dos rastreadores de IA, e o que cada operador diz sobre o robots.txt
OperadorTreinamentoRespostas de IAPedido de uma pessoa
OpenAIGPTBotObedeceOAI-SearchBotObedeceChatGPT-UserPode ignorar
AnthropicClaudeBotObedeceClaude-SearchBotObedeceClaude-UserObedece
PerplexityNão existe esse rastreadorPerplexityBotObedecePerplexity-UserPode ignorar
GoogleGoogle-ExtendedSó tokenNão existe esse rastreadorNão existe esse rastreador
AppleApplebot-ExtendedSó tokenNão existe esse rastreadorNão existe esse rastreador
Metameta-externalagentObedecemeta-webindexerObedecemeta-externalfetcherPode ignorar
AmazonAmazonbotObedeceNão existe esse rastreadorAmzn-UserPode ignorar
  • TreinamentoColeta páginas para treinar um modelo.
  • Respostas de IABusca páginas para responder a uma pergunta, em geral com um link de volta para você.
  • Pedido de uma pessoaBusca uma página porque alguém pediu. Alguns operadores dizem que este pode ignorar o robots.txt.

O robots.txt não mantém uma página fora do Google: use noindex

Ele pede aos rastreadores que não busquem uma página; não pede a um buscador que não a liste. O Google “ainda pode indexar a URL e mostrá-la nos resultados de pesquisa sem um snippet” quando outras páginas apontam para ela. Para manter uma página fora, use noindex e deixe a página rastreável, para que a tag possa ser lida.

O Search Console chama isso de “Página indexada, mas bloqueada pelo robots.txt”. E o Google é explícito: “para que a regra noindex funcione, a página ou recurso não pode ser bloqueado por um arquivo robots.txt”. O noindex de uma página bloqueada nunca é visto, porque o rastreador nunca busca a página.

É por isso que toda predefinição acima diz o que não faz. O Disallow: / da predefinição de homologação mantém os rastreadores bem-comportados do lado de fora, mas uma URL de homologação que recebe um link de qualquer lugar ainda pode ser listada: coloque a homologação atrás de uma senha e nunca leve essa linha para o site no ar.

Por que uma página bloqueada ainda pode aparecer no Google, e por que o noindex dela nunca é lido
  1. Rastreador
  2. Lê o robots.txt
  3. A URL está bloqueada
  4. Não busca a página
A própria página<meta name="robots" content="noindex">Nunca lida
Outro site aponta para ela
O índice de buscaA URL, sem descrição
O Search Console chama isso dePágina indexada, mas bloqueada pelo robots.txt

Para manter uma página fora: deixe o rastreador entrar e use noindex, ou exija login.

Onde o arquivo robots.txt precisa ficar

Na raiz do host a que se aplica, como /robots.txt, um arquivo por host e protocolo. https://example.com/robots.txt não diz nada sobre https://www.example.com nem sobre https://shop.example.com: cada um precisa de um arquivo próprio, e um robots.txt dentro de uma pasta nunca é lido.

Google: “Você precisa colocar o arquivo robots.txt no diretório de nível superior do site, em um protocolo compatível.” O relatório robots.txt do Search Console lista separadamente os arquivos dos 20 principais hosts de uma propriedade, com HTTP e HTTPS contados à parte.

Digite seu site no topo do gerador e ele mostra o endereço exato em que o arquivo precisa responder, preenche a linha Sitemap: para esse host e traz um link para o Verificador de Robots.txt, que lê o arquivo no ar assim que ele estiver publicado.

Um robots.txt por host e protocolo
Este arquivoVale para
https://example.com/robots.txtTodas as URLs de https://example.com
https://www.example.com/robots.txtSó www.example.com: outro host
http://example.com/robots.txtSó o site http://: outro protocolo
https://shop.example.com/robots.txtSó shop.example.com
https://example.com/blog/robots.txtNada: um robots.txt numa pasta nunca é lido

Crawl-delay, Host, Clean-param e Content-Signal

O Google não lê nenhuma delas. O Crawl-delay é lido pelo Bing, o Clean-param pelo Yandex, o Host não está nem no padrão nem na lista do Google, e o Content-Signal da Cloudflare declara para que o seu conteúdo pode ser usado, e não o que pode ser rastreado.

O Google lista os quatro campos dele e acrescenta que “outros campos, como crawl-delay, não são compatíveis”. O blog do próprio Bing diz que “a diretiva crawl-delay aceita como valores apenas números inteiros positivos”, então o editor recusa uma fração em vez de escrevê-la. Não foi possível ler a página de ajuda atual do Bing para confirmar um intervalo ou uma unidade, então esta página não afirma nenhum dos dois.

Nenhuma delas quebra um arquivo: a RFC 9309 exige que a análise de outros registros “NÃO DEVE interferir na análise dos registros definidos explicitamente”. Das quatro, o gerador só escreve o Crawl-delay, identificado com quem o lê.

Qual buscador lê qual diretiva
DiretivaGoogleBingYandex
User-agentLêLêLê
AllowLêLêLê
DisallowLêLêLê
SitemapLêLêLê
Crawl-delayIgnoraLêNão confirmado
Clean-paramIgnoraIgnoraLê
HostIgnoraIgnoraNão confirmado
noindexIgnoraNão confirmadoNão confirmado
Content-SignalIgnoraNão confirmadoNão confirmado
  • O Google aceita quatro campos e diz isso: user-agent, allow, disallow e sitemap.
  • O blog do próprio Bing confirma o Crawl-delay. Não publicamos um intervalo nem uma unidade para ele: não foi possível ler a página de ajuda atual do Bing para conferi-los.
  • Aposentado pelo Google em 2019, e nunca fez parte do padrão.
  • Content Signals Policy da Cloudflare: uma declaração sobre como o conteúdo pode ser usado, não uma regra de rastreamento.

Como testar o arquivo robots.txt que você acabou de escrever

Duas vezes. Antes de publicar, com Teste antes de publicar acima: escolha um rastreador e um caminho e veja a regra que decide. Depois de subir o arquivo, rode o Verificador de Robots.txt no arquivo no ar, porque o que o servidor responde importa tanto quanto o que o arquivo diz.

Um arquivo que responde 404 é lido como se não houvesse arquivo, então todo rastreador pode rastrear tudo; um arquivo que responde 500 ou 503 significa que um rastreador que segue o padrão não pode rastrear nada. RFC 9309 §2.3.1.4: o rastreador “DEVE presumir bloqueio total”. O Google ameniza isso com uma escada própria, mostrada na figura.

O testador de robots.txt do próprio Google não existe mais: o Search Central anunciou a aposentadoria dele em 15 de novembro de 2023, e o relatório robots.txt que entrou no lugar mostra o arquivo que o Google buscou, sem testar uma URL contra uma regra. O Teste antes de publicar, no gerador acima, e o verificador de robots.txt fazem esse teste.

O que cada resposta a GET /robots.txt significa para o site inteiro
O servidor respondeUm rastreador então
200Segue as regras do arquivo.
301, 302Segue pelo menos cinco saltos e depois para. Aí o Google lê o arquivo como um 404.
403, 404Rastreia tudo, como se não houvesse arquivo.
429Não rastreia nada. O Google conta esta resposta com as 5xx, não com as 4xx.
500, 503Não rastreia absolutamente nada, pelo padrão.
Nome inexistenteNão há site para ler, então não há veredito.
O que o Google faz com um 5xx, dia a dia
  1. 1Primeiras 12 horasPara de rastrear o site e continua tentando buscar o arquivo
  2. 2Até 30 diasUsa a última cópia boa do robots.txt
  3. 3Depois de 30 diasSe o site estiver no ar, age como se não houvesse robots.txt

Erros no robots.txt que custam o tráfego de um site

Os erros caros cabem, cada um, numa linha curta: um Disallow: / que sobrou da homologação, um prefixo que vai mais longe do que você queria, uma linha Sitemap: escrita como caminho, um caminho sem a barra inicial e uma linha noindex que o Google parou de ler em 2019.

Cada um é pego aqui antes de você copiar o arquivo. A própria auditoria do verificador roda enquanto você digita, e os problemas que ela encontra ficam embaixo do arquivo; uma linha que um rastreador rejeitaria nunca é escrita, e o editor diz, na linha da própria regra, por que ela ficou de fora.

Um dos erros é um par, não uma linha: uma URL bloqueada aqui que também traz noindex na página. O rastreador nunca busca a página, então nunca vê o noindex, e a URL pode continuar nos resultados de busca. Escolha um dos dois: bloqueie o rastreamento, ou deixe o rastreador entrar e diga a ele que não indexe.

Fontes

Seis erros no robots.txt, e o que cada um faz de verdade
A linha como foi escritaO que acontece de fato
Disallow: /Sobra da homologação: o site inteiro, já no ar, fica fechado para todos os rastreadores.
Disallow: /adminTambém bloqueia /administrator e /admin-tools. Acrescente a barra no final.
Allow: / sob User-agent: *Nunca é lido por um rastreador que tem um grupo próprio em qualquer parte do arquivo.
Sitemap: /sitemap.xmlUma linha Sitemap precisa ser um endereço completo, com o host.
Disallow: adminUm caminho começa em /. Esta regra não corresponde a nada.
noindex: /private/Morto desde 2019. A página continua rastreável e indexável.

Gerador de robots.txt: perguntas frequentes

Como criar um arquivo robots.txt?

Escolha uma predefinição acima ou escreva as regras você mesmo, e depois copie ou baixe o arquivo. Salve-o como texto simples em UTF-8 com o nome robots.txt e suba-o para a raiz do seu site, para que ele responda em https://seu-site/robots.txt. Não há etapa de envio: os rastreadores do Google encontram o arquivo sozinhos. Depois rode o Verificador de Robots.txt no endereço no ar para confirmar que o servidor responde 200.

Onde coloco o arquivo robots.txt?

Na raiz do host a que ele se aplica, como /robots.txt, nunca dentro de uma pasta, onde nenhum rastreador o procura. Cada host e protocolo precisa do próprio arquivo, então example.com, www.example.com e shop.example.com servem cada um o seu robots.txt. No Shopify não há arquivo para subir: você edita o modelo robots.txt.liquid do tema. No Next.js, o arquivo vai na pasta app.

Preciso mesmo de um arquivo robots.txt?

Não estritamente. Quando um site não tem robots.txt e o endereço responde 404, um rastreador pode buscar tudo, e a RFC 9309 permite isso. Vale a pena ter um arquivo só pela linha Sitemap, e para manter os rastreadores longe de carrinhos, resultados de busca interna ou URLs de filtros sem fim. O mais importante é que o endereço nunca responda com erro de servidor: um 5xx diz a um rastreador que cumpre o padrão que não busque absolutamente nada.

O robots.txt consegue tirar uma página do Google?

Não. Ele impede que um rastreador busque a página, não que o Google a liste. Uma URL bloqueada que recebe links de outros lugares ainda pode ser indexada e mostrada sem descrição, com o status do Search Console “Página indexada, mas bloqueada pelo robots.txt”. Para manter uma página fora, deixe o Google rastreá-la e sirva uma meta tag noindex ou um cabeçalho X-Robots-Tag, ou coloque-a atrás de um login. Nunca bloqueie e marque com noindex a mesma URL.

Bloquear rastreadores de IA afeta minhas posições no Google?

Não quando você recusa o treinamento de IA. O Google-Extended, o token que o Google lê para o treinamento de modelos, é separado do Googlebot, e o Google diz que ele não afeta a inclusão de um site na Pesquisa Google e não é um indicador de classificação. Recusar o GPTBot, o ClaudeBot ou os outros rastreadores de treinamento também não muda nada para os buscadores, porque cada rastreador lê só o grupo que o cita.

Devo bloquear o ChatGPT-User e o Claude-User?

Só se você quiser recusar pessoas. Eles buscam uma única página porque alguém pediu ao ChatGPT ou ao Claude que a abrisse, então bloqueá-los impede que o assistente dessa pessoa leia sua página; não impede um rastreamento. Alguns operadores dizem que esses rastreadores podem ignorar o robots.txt de qualquer forma. Se o que incomoda você é o treinamento, recuse o GPTBot e o ClaudeBot: a predefinição Sem treinamento de IA faz exatamente isso.

Preciso de um robots.txt separado para cada subdomínio?

Sim. Um robots.txt vale só para o host e o protocolo de onde é servido, então blog.example.com, shop.example.com e www.example.com precisam cada um de um arquivo próprio, e as regras de example.com/robots.txt nunca chegam a eles. O relatório robots.txt do Search Console lista os arquivos por host pelo mesmo motivo. Digite um host de cada vez no gerador: ele preenche a linha Sitemap certa para cada um.

O Google aceita Crawl-delay?

Não. O Google lista os quatro campos que aceita, user-agent, allow, disallow e sitemap, e diz que campos como crawl-delay não são compatíveis. O Bing lê a diretiva, e o blog do próprio Bing diz que o valor precisa ser um número inteiro positivo, e é por isso que este gerador recusa frações. Uma linha Crawl-delay não faz mal, mas não vai deixar o Googlebot mais lento, e o Search Console não tem mais uma configuração de taxa de rastreamento.

O que vem no robots.txt padrão do WordPress?

Três linhas e, num site público, uma linha Sitemap: User-agent: *, um Disallow para /wp-admin/, um Allow para /wp-admin/admin-ajax.php e, desde o WordPress 5.5, uma linha Sitemap para /wp-sitemap.xml. É o que a função do_robots() do próprio WordPress escreve. O Allow, mais longo, vence o Disallow, então o admin-ajax.php continua rastreável. Escolha a predefinição WordPress para começar exatamente desse arquivo.

Como testo meu arquivo robots.txt?

Antes de publicar o arquivo, use Teste antes de publicar nesta página: escolha um rastreador e um caminho para ver se é permitido ou bloqueado, a regra que decidiu com a linha dela e o grupo que o rastreador leu. Depois de subir o arquivo, rode o Verificador de Robots.txt no seu site no ar. Ele busca o arquivo real, então também diz o que o código de status do servidor significa para cada rastreador.

Por que minha regra Allow não funciona?

Em geral, porque um Disallow mais longo corresponde à mesma URL: o caminho mais longo vence, seja de que tipo for, e um Allow só vence um empate. Ou o rastreador tem um grupo próprio, então nunca lê o grupo * em que o seu Allow está. O editor acima aponta uma regra que outra sempre vence, e o Teste antes de publicar cita a regra decisiva e o grupo que o rastreador leu.

Este gerador é grátis? Ele envia meu arquivo para algum lugar?

É grátis, sem cadastro e sem limite diário. Tudo acontece no seu navegador: o arquivo é escrito, analisado e verificado nesta página, e nada do que você digita é enviado a lugar nenhum. Os únicos links para fora são as fontes das predefinições e o Verificador de Robots.txt, que busca o seu arquivo no ar a partir do nosso servidor só quando você o abre e pede uma verificação.

Mais ferramentas de rastreamento e indexação