O Que Faz um Verificador de Robots.txt?
O robots.txt é o arquivo de texto simples na raiz de um site (https://example.com/robots.txt) que diz aos crawlers quais URLs eles podem acessar. Uma única linha errada pode esconder um site inteiro do Google ou deixar crawlers de IA lerem páginas que você queria manter de fora.
Este verificador baixa o arquivo como um crawler faz, lê cada regra com a lógica de correspondência do Google e informa, para qualquer URL e qualquer bot, se ela está permitida ou bloqueada e qual linha decidiu isso. O Google aposentou sua própria ferramenta robots.txt Tester do Search Console em dezembro de 2023, então esta é uma forma rápida de testar as regras antes e depois de alterá-las.
Como Testar Seu Robots.txt
Digite um domínio como example.com, ou a URL completa de uma página para testá-la na hora. O verificador busca o /robots.txt na raiz do site e segue redirecionamentos.
Uma resposta 200 significa que as regras valem. Um 404 significa que os crawlers podem acessar tudo. Um erro de servidor faz o Google parar de rastrear o site até o arquivo carregar de novo.
Digite um caminho como /blog/post?id=1 e escolha um crawler. Você verá se ela está permitida ou bloqueada, além da regra exata e do número da linha correspondente.
Mude para Colar robots.txt para editar um rascunho e ver o resultado na hora; depois publique o arquivo e verifique a versão ao vivo de novo.
Advertisement
Como os Crawlers Leem o Robots.txt
Google, Bing e a maioria dos crawlers bem-comportados seguem o RFC 9309, o padrão de exclusão de robôs. Estas quatro regras, incluindo os curingas * e $, decidem quase todos os resultados:
Um crawler obedece apenas ao grupo com o User-agent mais específico que corresponde ao seu nome. Se o Googlebot tem seu próprio grupo, ele ignora completamente o grupo User-agent: *.
Quando várias regras correspondem a uma URL, vence a de caminho mais longo. Allow: /shop/sale/ vence Disallow: /shop/ para as páginas dentro de /shop/sale/.
Se uma regra Allow e uma Disallow têm o mesmo comprimento, o Google escolhe a menos restritiva: Allow.
O asterisco corresponde a quaisquer caracteres e o cifrão marca o fim da URL. Disallow: /*.pdf$ bloqueia todos os PDFs, mas não /file.pdf?download=1.
O Que o Status HTTP do Robots.txt Significa
Os crawlers reagem ao código de resposta antes de ler uma única regra. É assim que o Google trata cada caso:
O arquivo é lido e suas regras são seguidas. O Google lê os primeiros 500 KiB e ignora tudo o que vem depois.
O Google segue pelo menos cinco redirecionamentos. Se ainda não tiver chegado a um robots.txt, trata o arquivo como inexistente.
Tratado como se não houvesse robots.txt: todas as URLs podem ser rastreadas. 429 Too Many Requests é a exceção.
O Google trata o site inteiro como bloqueado enquanto o erro durar. Depois de 30 dias, volta à última cópia em cache ou, se não tiver nenhuma, assume que não há restrições.
Advertisement
Como Bloquear Crawlers de IA com Robots.txt
As empresas de IA usam nomes de crawler separados para treinamento de modelos, busca com IA e acessos sob demanda, então você pode bloquear um sem bloquear os outros. Bloquear o Google-Extended impede que seu conteúdo seja usado no Gemini, mas não afeta a Pesquisa Google; bloquear o Googlebot afetaria.
A tabela Crawlers de IA do verificador mostra de relance quais dos 13 bots de IA o seu robots.txt deixa entrar. Para bloquear os principais crawlers de treinamento, adicione:
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: CCBot
User-agent: Applebot-Extended
Disallow: /Erros Comuns no Robots.txt
Um `Disallow: /` esquecido de um site de homologação bloqueia tudo. É o motivo mais comum para um site novo nunca aparecer no Google.
Usar o robots.txt para esconder páginas. Uma URL bloqueada ainda pode ser indexada a partir de links, só que sem descrição. Para manter uma página fora da busca, deixe-a ser rastreada e adicione uma meta tag
noindexou o cabeçalhoX-Robots-Tag.Linhas `Noindex:` no robots.txt. O Google deixou de suportá-las em setembro de 2019; elas são ignoradas.
Bloquear CSS e JavaScript. O Google renderiza as páginas como um navegador; arquivos bloqueados podem fazer suas páginas parecerem quebradas para ele.
Maiúsculas e minúsculas erradas. Os nomes das diretivas não diferenciam maiúsculas de minúsculas, mas os caminhos sim:
Disallow: /Admin/não bloqueia/admin/.Um único arquivo para todos os subdomínios. O robots.txt vale apenas para o próprio host e protocolo.
blog.example.comprecisa do seu próprio arquivo.Crawl-delay para o Google. O Googlebot ignora essa diretiva. O Bing a respeita.
Advertisement
Exemplos de Robots.txt
Copie o padrão de que você precisa e depois cole seu arquivo completo no verificador para testá-lo:
User-agent: *
Disallow:User-agent: *
Disallow: /admin/
Allow: /admin/public/User-agent: *
Disallow: /*?
Disallow: /*.pdf$Sitemap: https://example.com/sitemap.xmlMais Ferramentas de SEO e Rastreamento
Crie e verifique o restante da sua configuração de rastreamento: