O Que é um Arquivo Robots.txt?
Um arquivo robots.txt é um arquivo de texto simples colocado no diretório raiz do seu site (ex: exemplo.com/robots.txt) que diz aos crawlers de motores de busca e bots quais páginas ou seções podem e não podem acessar. Ele segue o padrão Robots Exclusion Protocol.
Embora seja consultivo (não obrigatório), todos os grandes motores de busca como Google e Bing respeitam as diretivas do robots.txt. É a primeira linha de controle de rastreamento para qualquer site.
Nosso gerador visual permite criar regras de robots.txt sem necessidade de editar código manualmente, com presets prontos e suporte a bloqueio de bots de IA.
Como Criar um Arquivo Robots.txt
Siga estes passos para criar seu robots.txt usando nosso gerador:
Selecione um preset rápido: 'Allow All' (permite tudo), 'Block All' (bloqueia tudo), 'Standard' (configuração recomendada) ou 'Block AI Bots' (bloqueia bots de IA). Ou comece do zero.
Selecione um user-agent (Googlebot, Bingbot, GPTBot, etc.) e defina diretivas Allow ou Disallow para caminhos específicos do seu site.
Adicione a URL do seu XML sitemap e opcionalmente defina um crawl-delay para limitar a frequência de rastreamento.
Clique em Download para obter seu robots.txt e faça upload para o diretório raiz do seu site (acessível em seudominio.com/robots.txt).
Referência de Diretivas Robots.txt
Conheça as principais diretivas disponíveis no robots.txt:
Especifica qual crawler a regra se aplica. Use * para todos os bots, ou nomes específicos como Googlebot, Bingbot, GPTBot.
Bloqueia o acesso a um caminho específico. Ex: Disallow: /admin/ bloqueia o diretório admin. Disallow: / bloqueia todo o site.
Permite acesso a um caminho, sobrescrevendo Disallow mais amplo. Ex: Allow: /images/public/ permite acesso mesmo com Disallow: /images/.
Indica a URL do XML sitemap. Colocado fora de qualquer bloco User-agent. Aceita múltiplas entradas para vários sitemaps.
Pede aos bots para esperar X segundos entre requisições. Bing e Yandex respeitam, mas Google ignora (use Search Console).
Como Bloquear Bots de IA com Robots.txt
Para impedir que crawlers de IA usem seu conteúdo para treinamento, adicione regras específicas ao robots.txt:
GPTBot (OpenAI): User-agent: GPTBot + Disallow: / — bloqueia o crawler da OpenAI usado para treinamento do ChatGPT.
ClaudeBot (Anthropic): User-agent: ClaudeBot + Disallow: / — bloqueia o crawler da Anthropic.
Google-Extended: User-agent: Google-Extended + Disallow: / — bloqueia o crawler do Google para treinamento de IA (diferente do Googlebot de busca).
CCBot (Common Crawl): User-agent: CCBot + Disallow: / — bloqueia o crawler do Common Crawl, dataset público usado por muitas IAs.
Nosso gerador tem o preset 'Block AI Bots' que adiciona todas essas regras com um clique.
Robots.txt vs Outros Métodos de Controle
O robots.txt é apenas uma forma de controlar o acesso ao seu site. Compare com outros métodos:
Consultivo, respeitado por bots bem-comportados. Fácil de implementar. Não é segurança real — bots maliciosos podem ignorar.
Tag HTML <meta name='robots'> com noindex, nofollow. Controla indexação por página. Mais granular que robots.txt.
Header HTTP que funciona como meta robots mas para qualquer tipo de arquivo (PDF, imagem). Ideal para conteúdo não-HTML.
Bloqueio real no servidor. Impede acesso completamente, não apenas rastreamento. Use para segurança real.
Boas Práticas para Robots.txt
Siga estas práticas para um robots.txt eficaz:
Coloque no diretório raiz — deve ser acessível em seudominio.com/robots.txt
Inclua diretiva Sitemap — ajuda motores de busca a descobrir seu XML sitemap
Não bloqueie CSS e JavaScript — Google precisa renderizar suas páginas para indexação moderna
Use regras específicas — evite Disallow: / exceto quando necessário (bloqueia todo o site)
Teste antes de publicar — use o testador de robots.txt do Google Search Console
Atualize após mudanças de estrutura — novos diretórios ou seções podem precisar de regras
Cada subdomínio precisa do seu próprio robots.txt — blog.exemplo.com e www.exemplo.com são separados
Lembre-se: robots.txt não é segurança — use autenticação e firewalls para dados sensíveis
Ferramentas Relacionadas
Explore nossas outras ferramentas grátis para SEO e gerenciamento de sites:
Gere XML sitemaps para ajudar motores de busca a encontrar suas páginas.
Analise headers de resposta e segurança de qualquer site.
Rastreie cadeias de redirecionamento 301/302 de qualquer URL.
Encontre todos os links internos e externos em qualquer página.
Descubra qual CMS, servidor web e CDN um site usa.
Verifique certificado SSL, protocolo TLS e validade.