Herramientas populares

Tema

Generador de Robots.txt

Un generador de robots.txt para crear robots.txt con confianza: cada regla se explica mientras la escribe, nuestro comprobador de robots.txt relee el archivo según RFC 9309 y la propia interpretación de Google, y antes de publicar obtiene un veredicto en vivo para cualquier rastreador y cualquier ruta.

Preajustes creados a partir de la documentación de WordPress, Shopify, Next.js y Google · los rastreadores que documenta cada operador, por propósito · la regla decisiva con su línea · se escribe en su navegador, no se sube nada
Se escribe y se comprueba en su navegador

Un archivo por host y protocolo: www.example.com y example.com necesitan uno cada uno.

Partir de
Qué hace
  • Todos los rastreadores pueden obtener todas las URL del sitio.
  • La línea Sitemap: dirige a los rastreadores a su sitemap.
Qué no hace
  • No mantiene nada en privado: robots.txt es un archivo público, y una petición, no un candado.
  • No le pide a un buscador que indexe una página. El rastreo y la indexación son cosas distintas.

Fuente: RFC 9309, consultado el 26 de octubre de 2026.

Reglas

Todos los demás rastreadores

User-agent: *

Lo leen todos los rastreadores que no tienen un grupo propio.

  • Permite todo el sitio.
Google lo ignora; Bing lo lee.

Rastreadores por propósito

Elija qué recibe cada rastreador conocido. Un rastreador con un grupo propio lee solo ese grupo.

Motores de búsqueda8

Rastrean para crear un índice de búsqueda. Las páginas bloqueadas aún pueden aparecer gracias a enlaces de otros sitios, pero sin que se lea nada de ellas.

  • GooglebotGoogleSí, según el operador
  • Storebot-GoogleGoogleSí, según el operador
  • BingbotMicrosoftSí, según el operador
  • ApplebotAppleSí, según el operador
  • Amzn-SearchBotAmazonSí, según el operador
  • DuckDuckBotDuckDuckGoSí, según el operador
  • YandexBotYandexSí, según el operador
  • BaiduspiderBaiduEl operador no lo dice
Entrenamiento de IA6

Recopilan páginas para entrenar modelos. Un token aparte le permite rechazar el entrenamiento y seguir apareciendo en los resultados de búsqueda.

  • Google-ExtendedGoogleSolo un token, nunca se envía en una solicitud
  • GPTBotOpenAISí, según el operador
  • ClaudeBotAnthropicSí, según el operador
  • Applebot-ExtendedAppleSolo un token, nunca se envía en una solicitud
  • meta-externalagentMetaSí, según el operador
  • AmazonbotAmazonSí, según el operador
Respuestas de IA4

Obtienen páginas para responder preguntas con un enlace a su sitio.

  • OAI-SearchBotOpenAISí, según el operador
  • Claude-SearchBotAnthropicSí, según el operador
  • PerplexityBotPerplexitySí, según el operador
  • meta-webindexerMetaSí, según el operador
A petición de una persona5

Obtienen una página porque una persona la pidió, así que algunos operadores dicen que pueden ignorar robots.txt.

Rechazarlos es rechazar a una persona, no un rastreo: cuando alguien le pide a un asistente de IA que abra una de sus páginas, un asistente que obedece el archivo no la leerá por esa persona. Si lo que quiere rechazar es el entrenamiento, rechace los rastreadores de entrenamiento de arriba.

  • ChatGPT-UserOpenAINo siempre, según el operador
  • Claude-UserAnthropicSí, según el operador
  • Perplexity-UserPerplexityNo siempre, según el operador
  • meta-externalfetcherMetaNo siempre, según el operador
  • Amzn-UserAmazonNo siempre, según el operador
Vistas previas, anuncios y otros8

Vistas previas de enlaces, herramientas del propietario, comprobaciones publicitarias, archivos web y rastreadores cuyos operadores declaran otra tarea o ninguna.

  • Google-InspectionToolGoogleSí, según el operador
  • GoogleOtherGoogleSí, según el operador
  • AdsBot-GoogleGoogleSí, según el operador
  • OAI-AdsBotOpenAIEl operador no lo dice
  • facebookexternalhitMetaNo siempre, según el operador
  • meta-externaladsMetaSí, según el operador
  • BytespiderByteDanceEl operador no lo dice
  • CCBotCommon CrawlSí, según el operador

Sitemaps

  • Escriba su sitio arriba y esto se completa solo.

El archivo

1 advertencia

Su robots.txt/robots.txt

2 líneas
  1. User-agent: *
  2. Allow: /

ErrorAdvertenciaNota23 B de 500 KiB

Lo que dice el comprobador

1 advertencia

  • Sin línea SitemapAdvertencia

    Qué hacer Es la línea más barata del archivo y todos los rastreadores la leen. Añada Sitemap: con la dirección completa de su sitemap.

Pruébelo antes de publicarlo

Elija un rastreador y una ruta: el veredicto, la regla que lo decide y el grupo que lee el rastreador salen del propio comparador del Comprobador de Robots.txt.

Pruebe una ruta
Rastreador

  • Este rastreador puede solicitar la URL.

    Grupo elegido

    User-agent: *empieza en la línea 1

    Ningún grupo nombra a este rastreador, así que se aplica el grupo *.

    Decidido por

    Allow: /línea 2

    La misma regla también coincide con

    /any-page

    Comparado

    /

    Solo se comparan la ruta y la consulta, byte a byte tras la codificación porcentual. El host, el esquema y el fragmento nunca forman parte de una regla.

Cómo crear robots.txt para su sitio

Escriba las reglas, guárdelas en un archivo de texto plano llamado robots.txt, codificado en UTF-8, y súbalo al nivel superior de su sitio, para que responda en https://example.com/robots.txt. No hay nada que enviar: los rastreadores piden esa dirección por su cuenta.

Google lo resume en tres frases: “El archivo debe llamarse robots.txt. Solo puede haber un archivo robots.txt por sitio. El archivo robots.txt debe incluirse en la raíz del host del sitio web al que se aplica”. Los archivos “deben estar codificados en UTF-8, que incluye ASCII”, y “los rastreadores de Google buscarán y empezarán a usar el archivo robots.txt automáticamente”.

El generador de arriba parte de un preajuste, explica cada regla mientras la escribe y relee el resultado con el analizador y el comparador de nuestro comprobador de robots.txt antes de que lo copie. La descarga se llama robots.txt: UTF-8 sin marca de orden de bytes, solo saltos de línea LF y ninguna fecha ni comentario que usted no haya pedido.

Cuatro pasos de las reglas a un robots.txt que funciona
  1. 1Escriba las reglasParta de un preajuste y añada los grupos y las rutas que necesita su sitio.
  2. 2Guárdelo como robots.txtTexto plano, UTF-8, sin marca de orden de bytes.
  3. 3Súbalo a la raízDebe responder en el nivel superior del host:https://example.com/robots.txt
  4. 4PruébeloAquí antes de publicar, y después el archivo publicado con el Comprobador de Robots.txt.

No hay paso de envío: los rastreadores de Google encuentran el archivo por su cuenta.

Generador de robots.txt: el preajuste de WordPress, cada regla explicada, el archivo con sus números de línea y hallazgosGenerador de robots.txt: el preajuste de WordPress, cada regla explicada, el archivo con sus números de línea y hallazgosQué hace el preajusteY lo que no hace: ninguno de estos preajustes deja una página fuera de Google, y cada uno lo dice.Cada regla explicadaLas rutas que bloquea una regla y las que se le escapan, desde el mismo comparador que decide cada veredicto, y la regla más larga que abre una excepción.El archivo y sus hallazgosEl archivo con sus números de línea, releído por la propia auditoría del Comprobador de Robots.txt antes de que usted lo copie.El veredictoElija un rastreador y una ruta: permitido o bloqueado, la regla que lo decidió con su línea y el grupo que lee el rastreador.
El preajuste de WordPress en el generador: lo que hace y lo que no hace el preajuste, cada regla explicada desde el comparador, el archivo tal como se publicará y el veredicto para un rastreador y una ruta. Seleccione un número para ver qué muestra cada parte.

Qué lleva un archivo robots.txt, línea por línea

Grupos y líneas Sitemap. Un grupo empieza con una o más líneas User-agent que nombran rastreadores, seguidas de las reglas Allow y Disallow que esos rastreadores obedecen; una línea Sitemap va sola, fuera de todos los grupos.

RFC 9309 define un grupo como “una o más líneas user-agent seguidas de una o más reglas”, y un rastreador obedece exactamente un grupo: el que nombra su propio token de producto, o el grupo * cuando ninguno lo hace. Google lee cuatro campos y ninguno más: user-agent, allow, disallow y sitemap.

Los nombres de los campos no distinguen mayúsculas de minúsculas, pero las rutas sí: en el propio ejemplo de Google, disallow: /file.asp se aplica a /file.asp “pero no” a /FILE.asp. Una línea Sitemap: debe ser una dirección completa con el protocolo y el host; este generador rechaza cualquier otra forma y dice por qué.

Un robots.txt, línea por línea
robots.txt
  1. 1User-agent: *Empieza un grupo para cada rastreador sin grupo propio
  2. 2Disallow: /cart/Una ruta que estos rastreadores no deben obtener
  3. 3Allow: /cart/helpUna excepción: más larga que el Disallow, así que gana
  4. 4
  5. 5User-agent: GPTBotEmpieza un grupo que nombra a dos rastreadores
  6. 6User-agent: ClaudeBot
  7. 7Disallow: /A los dos se les rechaza todo el sitio
  8. 8
  9. 9Sitemap: https://www.example.org/sitemap.xmlFuera de todos los grupos: una dirección completa

Allow frente a Disallow, * y $: cómo coincide una regla

Cuando varias reglas coinciden con una URL, gana la de la ruta más larga, sea del tipo que sea, y en un empate gana Allow. * representa cualquier secuencia de caracteres y $ marca el final de la URL; nada más en una ruta tiene un significado especial.

RFC 9309: “Se DEBE usar la coincidencia más específica que se encuentre. La coincidencia más específica es la que tiene más octetos”, y “si una regla allow y una regla disallow son equivalentes, DEBERÍA usarse la regla allow”. El propio archivo de WordPress funciona así: Disallow: /wp-admin/ cierra la carpeta, y el Allow: /wp-admin/admin-ajax.php, más largo, abre un archivo dentro de ella.

Una regla sin $ es un prefijo, así que Disallow: /admin también bloquea /administrator; añada la barra (/admin/) cuando se refiera a la carpeta. Bajo cada regla, el editor de arriba muestra las rutas que atrapa y algunas que no, desde el comparador que decide cada veredicto, y señala una regla a la que otra siempre le gana.

* y $, y lo que atrapa de verdad cada patrón
PatrónAtrapaNo atrapa
/admin/admin/ · /administrator · /admin-tools/wp-admin
/admin//admin/users/administrator
/*.pdf$/files/report.pdf/report.pdf?v=2
/*?/search?q=x/search

?, ., [ y + son caracteres normales. En robots.txt no hay expresiones regulares.

Dos reglas coinciden con una URL: gana la ruta más larga
/admin/report.pdf
  • Disallow: /admin/7 caracteres
  • Allow: /admin/report.pdf17 caracteres

Gana el Allow: coincide con una parte mayor de la ruta.

Un empate exacto
Disallow: /files/7 caracteresAllow: /files/7 caracteres

Misma longitud, así que gana el Allow. “La regla menos restrictiva”, como dice Google.

El archivo de ejemplo pertenece a www.example.org, un sitio inventado: no se muestra como roto ningún robots.txt real.

robots.txt para WordPress, Shopify y Next.js

Las tres plataformas ya sirven uno, y los preajustes de arriba escriben lo que describe la propia documentación de cada una: WordPress rechaza su área de administración pero permite admin-ajax.php, Shopify rechaza los carritos, los pagos y las colecciones filtradas u ordenadas, y Next.js sirve el archivo que usted pone en app/robots.txt.

WordPress escribe su archivo en código, en do_robots(): User-agent: *, un Disallow para la ruta de administración y un Allow para admin-ajax.php, más, en un sitio público desde WordPress 5.5, una línea Sitemap: para /wp-sitemap.xml. Con “Disuadir a los motores de búsqueda” activado, WordPress 5.3 y posteriores ya no escriben Disallow: /; usan en su lugar una etiqueta meta robots.

Shopify dice que su archivo predeterminado “funciona para la mayoría de las tiendas”. No hay archivo que subir: cambiarlo significa editar la plantilla robots.txt.liquid del tema, algo que Shopify llama “una personalización no admitida”. Next.js sirve app/robots.txt tal como está escrito, o genera el archivo a partir de app/robots.ts.

Lo que sirven WordPress, Shopify y Next.js, y dónde se cambia
WordPress
  1. 1User-agent: *
  2. 2Allow: /wp-admin/admin-ajax.php
  3. 3Disallow: /wp-admin/
  4. 4
  5. 5Sitemap: https://example.com/wp-sitemap.xml

Lo escribe el propio WordPress. Se cambia con un plugin o con el filtro robots_txt.

Shopify
  1. 1User-agent: *
  2. 2Allow: /
  3. 3Disallow: /admin
  4. 4Disallow: /cart/
  5. 5Disallow: /checkout
  6. 6Disallow: /checkouts/
  7. 7Disallow: /account
  8. 8Disallow: /orders
  9. 9Disallow: /collections/*+*
  10. 10Disallow: /collections/*sort_by*
  11. 11
  12. 12Sitemap: https://example.com/sitemap.xml

El predeterminado de Shopify. Se cambia en la plantilla robots.txt.liquid del tema.

Next.js
  1. 1User-agent: *
  2. 2Allow: /
  3. 3
  4. 4Sitemap: https://example.com/sitemap.xml

Su propio archivo en app/robots.txt, o app/robots.ts, servido en /robots.txt.

Cada archivo es lo que escribe para example.com el preajuste del mismo nombre.

Bloquear los rastreadores de IA: lo que de verdad funciona

Un grupo que nombra al rastreador, con Disallow: / debajo, funciona con cada rastreador cuyo operador dice que obedece robots.txt, y solo con esos. Es una petición que el rastreador respeta, no un candado: un rastreador que ignora el archivo puede seguir obteniendo todas las páginas.

La mayoría de las empresas de IA usan más de un rastreador, así que decida según la tarea. Rechazar un rastreador de entrenamiento como GPTBot o ClaudeBot rechaza el que recopila páginas para los modelos; rechazar un rastreador de respuestas como OAI-SearchBot o PerplexityBot también lo saca de los enlaces que muestran esos asistentes. El token de entrenamiento de Google no es Googlebot: “Google-Extended no afecta a la inclusión de los sitios en la Búsqueda de Google ni se utiliza como factor de posicionamiento en la Búsqueda de Google”.

El tercer tipo es distinto. ChatGPT-User, Claude-User, Perplexity-User y Amzn-User obtienen una página porque una persona le pidió a un asistente que la abriera, así que rechazarlos es rechazar a esa persona, y algunos de sus operadores dicen que estos rastreadores pueden ignorar robots.txt de todos modos. Por eso la lista de rastreadores de arriba los pone en una sección propia.

Las tres tareas de los rastreadores de IA, y lo que dice cada operador sobre robots.txt
OperadorEntrenamientoRespuestas de IAPetición de una persona
OpenAIGPTBotObedeceOAI-SearchBotObedeceChatGPT-UserPuede ignorarlo
AnthropicClaudeBotObedeceClaude-SearchBotObedeceClaude-UserObedece
PerplexitySin rastreadorPerplexityBotObedecePerplexity-UserPuede ignorarlo
GoogleGoogle-ExtendedSolo tokenSin rastreadorSin rastreador
AppleApplebot-ExtendedSolo tokenSin rastreadorSin rastreador
Metameta-externalagentObedecemeta-webindexerObedecemeta-externalfetcherPuede ignorarlo
AmazonAmazonbotObedeceSin rastreadorAmzn-UserPuede ignorarlo
  • EntrenamientoRecopila páginas para entrenar un modelo.
  • Respuestas de IAObtiene páginas para responder una pregunta, normalmente con un enlace a su sitio.
  • Petición de una personaObtiene una página porque alguien la pidió. Algunos operadores dicen que este puede ignorar robots.txt.

robots.txt no deja una página fuera de Google: use noindex

Les pide a los rastreadores que no obtengan una página; no le pide a un buscador que no la liste. Google “aun así puede indexar la URL y mostrarla en los resultados de búsqueda sin fragmento” cuando otras páginas enlazan a ella. Para dejar una página fuera, use noindex y deje la página rastreable para que la etiqueta se pueda leer.

Search Console lo llama “Se ha indexado aunque un archivo robots.txt la tenía bloqueada”. Y Google es explícito: “para que la regla noindex sea efectiva, la página o el recurso no debe estar bloqueado por un archivo robots.txt”. El propio noindex de una página bloqueada nunca se ve, porque el rastreador nunca obtiene la página.

Por eso cada preajuste de arriba dice lo que no hace. El Disallow: / del preajuste de pruebas mantiene fuera a los rastreadores que cumplen las normas, pero una URL de pruebas enlazada desde cualquier parte aún puede aparecer en los resultados: ponga el sitio de pruebas detrás de una contraseña y nunca lleve esa línea al sitio publicado.

Por qué una página bloqueada puede seguir apareciendo en Google, y por qué su noindex nunca se lee
  1. Rastreador
  2. Lee robots.txt
  3. La URL está bloqueada
  4. No obtiene la página
La página en sí<meta name="robots" content="noindex">Nunca se lee
Otro sitio enlaza a ella
El índice de búsquedaLa URL, sin descripción
Search Console lo llamaSe ha indexado aunque un archivo robots.txt la tenía bloqueada

Para dejar una página fuera: deje entrar al rastreador y use noindex, o exija iniciar sesión.

Dónde debe estar el archivo robots.txt

En la raíz del host al que se aplica, como /robots.txt, un archivo por host y protocolo. https://example.com/robots.txt no dice nada sobre https://www.example.com ni sobre https://shop.example.com: cada uno necesita su propio archivo, y un robots.txt dentro de una carpeta nunca se lee.

Google: “Debes colocar el archivo robots.txt en el directorio de nivel superior de un sitio y debes usar en él un protocolo compatible”. El informe de robots.txt de Search Console lista por separado los archivos de los 20 hosts principales de una propiedad, y cuenta aparte HTTP y HTTPS.

Escriba su sitio en la parte superior del generador y le dará la dirección exacta en la que debe responder el archivo, completará la línea Sitemap: para ese host y enlazará al Comprobador de Robots.txt, que lee el archivo publicado en cuanto esté en línea.

Un robots.txt por host y protocolo
Este archivoSe aplica a
https://example.com/robots.txtTodas las URL de https://example.com
https://www.example.com/robots.txtSolo www.example.com: es otro host
http://example.com/robots.txtSolo el sitio http://: es otro protocolo
https://shop.example.com/robots.txtSolo shop.example.com
https://example.com/blog/robots.txtNada: un robots.txt dentro de una carpeta nunca se lee

Crawl-delay, Host, Clean-param y Content-Signal

Google no lee ninguna de ellas. Bing lee Crawl-delay, Yandex lee Clean-param, Host no está ni en el estándar ni en la lista de Google, y Content-Signal de Cloudflare declara para qué se puede usar su contenido, no qué se puede rastrear.

Google lista sus cuatro campos y añade que “no se admiten otros campos, como crawl-delay”. El propio blog de Bing dice que “la directiva crawl-delay solo acepta números enteros positivos como valores”, así que el editor rechaza una fracción en lugar de escribirla. La página de ayuda actual de Bing no se pudo leer para confirmar un rango o una unidad, así que esta página no indica ninguno de los dos.

Ninguna de ellas rompe un archivo: RFC 9309 establece que el análisis de otros registros “NO DEBE interferir con el análisis de los registros definidos explícitamente”. De las cuatro, el generador solo escribe Crawl-delay, rotulado con quién lo lee.

Qué buscador lee cada directiva
DirectivaGoogleBingYandex
User-agentLa leeLa leeLa lee
AllowLa leeLa leeLa lee
DisallowLa leeLa leeLa lee
SitemapLa leeLa leeLa lee
Crawl-delayLa ignoraLa leeSin confirmar
Clean-paramLa ignoraLa ignoraLa lee
HostLa ignoraLa ignoraSin confirmar
noindexLa ignoraSin confirmarSin confirmar
Content-SignalLa ignoraSin confirmarSin confirmar
  • Google admite cuatro campos y lo dice: user-agent, allow, disallow y sitemap.
  • El propio blog de Bing confirma Crawl-delay. No publicamos un rango ni una unidad: la página de ayuda actual de Bing no se pudo leer para comprobarlos.
  • Google lo retiró en 2019, y nunca formó parte del estándar.
  • La política Content Signals de Cloudflare: una declaración sobre cómo se puede usar el contenido, no una regla de rastreo.

Cómo probar el archivo robots.txt que acaba de escribir

Dos veces. Antes de publicar, con Pruébelo antes de publicarlo arriba: elija un rastreador y una ruta y vea la regla que lo decide. Después de subirlo, pase el Comprobador de Robots.txt por el archivo publicado, porque lo que responde el servidor importa tanto como lo que dice el archivo.

Un archivo que responde 404 se interpreta como si no hubiera archivo, así que cualquier rastreador puede tomarlo todo; un archivo que responde 500 o 503 significa que un rastreador que sigue el estándar no debe tomar nada. RFC 9309 §2.3.1.4: el rastreador “DEBE asumir una prohibición total”. Google lo suaviza con una escala propia, que se muestra en la figura.

El probador de robots.txt de Google ya no existe: Search Central anunció su retirada el 15 de noviembre de 2023, y el informe de robots.txt que lo sustituyó muestra el archivo que Google obtuvo, sin probar una URL contra una regla. Pruébelo antes de publicarlo, en el generador de arriba, y el comprobador de robots.txt hacen esa prueba.

Lo que significa cada respuesta a GET /robots.txt para todo el sitio
El servidor respondeEntonces un rastreador
200Sigue las reglas del archivo.
301, 302Sigue al menos cinco saltos y después se detiene. Entonces Google lee el archivo como un 404.
403, 404Rastrea todo, como si no hubiera archivo.
429No rastrea nada. Google lo cuenta con las respuestas 5xx, no con las 4xx.
500, 503No rastrea nada en absoluto, según el estándar.
El nombre no existeNo hay ningún sitio que leer, así que no hay veredicto.
Lo que hace Google con un 5xx, día a día
  1. 1Primeras 12 horasDeja de rastrear el sitio y sigue reintentando con el archivo
  2. 2Hasta 30 díasUsa su última copia válida de robots.txt
  3. 3Después de 30 díasSi el sitio funciona, actúa como si no hubiera robots.txt

Errores de robots.txt que les cuestan tráfico a los sitios

Los errores que salen caros son, cada uno, una sola línea corta: un Disallow: / que quedó del entorno de pruebas, un prefijo que llega más lejos de lo que quería, una línea Sitemap: escrita como ruta, una ruta sin su barra inicial y una línea noindex que Google dejó de leer en 2019.

Aquí se detecta cada uno antes de copiar el archivo. La auditoría del propio comprobador se ejecuta mientras escribe y sus hallazgos aparecen bajo el archivo; una línea que un rastreador rechazaría nunca llega a escribirse, y el editor dice en su fila por qué quedó fuera.

Un error es una pareja, no una línea: una URL bloqueada aquí que además lleva noindex en la página. El rastreador nunca obtiene la página, así que nunca ve el noindex, y la URL puede seguir en los resultados de búsqueda. Elija una opción: bloquear el rastreo, o dejarlo entrar y decirle que no indexe.

Fuentes

Seis errores de robots.txt, y lo que hace en realidad cada uno
La línea tal como está escritaLo que pasa en realidad
Disallow: /Restos de un entorno de pruebas: todo el sitio publicado queda cerrado a todos los rastreadores.
Disallow: /adminTambién bloquea /administrator y /admin-tools. Añada la barra final.
Allow: / bajo User-agent: *Nunca lo lee un rastreador que tenga su propio grupo en cualquier parte del archivo.
Sitemap: /sitemap.xmlUna línea Sitemap debe ser una dirección completa con el host.
Disallow: adminUna ruta empieza en /. Esta regla no coincide con nada.
noindex: /private/Muerto desde 2019. La página sigue siendo rastreable e indexable.

Generador de robots.txt: preguntas frecuentes

¿Cómo crear robots.txt para mi sitio?

Elija un preajuste arriba o escriba usted las reglas, y después copie o descargue el archivo. Guárdelo como texto plano UTF-8 con el nombre robots.txt y súbalo a la raíz de su sitio, para que responda en https://su-sitio/robots.txt. No hay paso de envío: los rastreadores de Google encuentran el archivo por su cuenta. Después pase el Comprobador de Robots.txt por la dirección publicada para confirmar que el servidor responde 200.

¿Dónde pongo el archivo robots.txt?

En la raíz del host al que se aplica, como /robots.txt, nunca dentro de una carpeta, donde ningún rastreador lo busca. Cada host y cada protocolo necesitan su propio archivo, así que example.com, www.example.com y shop.example.com sirven cada uno un robots.txt distinto. En Shopify no hay archivo que subir: se edita la plantilla robots.txt.liquid del tema. En Next.js, el archivo va en la carpeta app.

¿Necesito un archivo robots.txt?

No es imprescindible. Cuando un sitio no tiene robots.txt y la dirección responde 404, un rastreador puede obtenerlo todo, algo que RFC 9309 permite. Tener uno vale la pena aunque sea solo por la línea Sitemap, y para mantener a los rastreadores fuera de carritos, búsquedas internas o URL de filtros interminables. Lo esencial es que la dirección nunca responda con un error del servidor: un 5xx le dice a un rastreador que cumple el estándar que no obtenga nada.

¿robots.txt puede quitar una página de Google?

No. Impide que un rastreador obtenga la página, no que Google la liste. Una URL bloqueada que otras páginas enlazan aún se puede indexar y mostrar sin descripción, con el estado de Search Console “Se ha indexado aunque un archivo robots.txt la tenía bloqueada”. Para dejarla fuera, deje que Google la rastree y sirva una etiqueta meta noindex o una cabecera X-Robots-Tag, o póngala tras un inicio de sesión. Nunca bloquee con Disallow una URL que lleva noindex.

¿Bloquear los rastreadores de IA afecta a mi posicionamiento en Google?

No, si lo que rechaza es el entrenamiento de IA. Google-Extended, el token que Google lee para el entrenamiento de modelos, es independiente de Googlebot, y Google dice que no afecta a la inclusión de un sitio en la Búsqueda de Google ni es un factor de posicionamiento. Rechazar GPTBot, ClaudeBot u otros rastreadores de entrenamiento tampoco cambia nada para los buscadores, porque cada rastreador lee solo el grupo que lo nombra.

¿Debo bloquear ChatGPT-User y Claude-User?

Solo si quiere rechazar a personas. Estos obtienen una sola página porque alguien le pidió a ChatGPT o a Claude que la abriera, así que bloquearlos impide que el asistente de esa persona lea su página; no detiene un rastreo. Algunos operadores dicen que estos rastreadores pueden ignorar robots.txt de todos modos. Si lo que le molesta es el entrenamiento, rechace GPTBot y ClaudeBot: el preajuste Sin entrenamiento de IA hace exactamente eso.

¿Necesito un robots.txt distinto para cada subdominio?

Sí. Un robots.txt se aplica solo al host y al protocolo desde los que se sirve, así que blog.example.com, shop.example.com y www.example.com necesitan cada uno su propio archivo, y las reglas de example.com/robots.txt nunca les llegan. Por eso mismo, el informe de robots.txt de Search Console lista los archivos por host. Escriba cada host en el generador, uno tras otro: completará la línea Sitemap correcta para cada uno.

¿Google admite Crawl-delay?

No. Google lista los cuatro campos que admite (user-agent, allow, disallow y sitemap) y dice que campos como crawl-delay no se admiten. Bing sí lo lee, y el propio blog de Bing dice que el valor debe ser un número entero positivo; por eso este generador rechaza las fracciones. Una línea Crawl-delay no hace daño, pero no frenará a Googlebot, y Search Console ya no tiene un ajuste de frecuencia de rastreo.

¿Qué contiene el robots.txt predeterminado de WordPress?

Tres líneas y, en un sitio público, una línea Sitemap: User-agent: *, un Disallow para /wp-admin/, un Allow para /wp-admin/admin-ajax.php y, desde WordPress 5.5, una línea Sitemap para /wp-sitemap.xml. Es lo que escribe la propia función do_robots() de WordPress. El Allow, más largo, le gana al Disallow, así que admin-ajax.php sigue siendo rastreable. Elija el preajuste de WordPress para partir exactamente de ese archivo.

¿Cómo pruebo mi archivo robots.txt?

Antes de publicar, use Pruébelo antes de publicarlo en esta página: elija un rastreador y una ruta para ver si está permitida o bloqueada, la regla que lo decidió con su línea y el grupo que leyó el rastreador. Después de subir el archivo, pase el Comprobador de Robots.txt por su sitio publicado. Obtiene el archivo real, así que también le dice qué significa el código de estado del servidor para cada rastreador.

¿Por qué no funciona mi regla Allow?

Normalmente porque un Disallow más largo coincide con la misma URL: gana la ruta más larga, sea del tipo que sea, y Allow solo gana en un empate. O el rastreador tiene un grupo propio, así que nunca lee el grupo * en el que está su Allow. El editor de arriba señala una regla a la que otra siempre le gana, y Pruébelo antes de publicarlo nombra la regla decisiva y el grupo que leyó el rastreador.

¿Este generador es gratis? ¿Sube mi archivo?

Es gratis, sin registro y sin cupo diario. Todo ocurre en su navegador: el archivo se escribe, se analiza y se comprueba en esta página, y nada de lo que escribe se envía a ninguna parte. Los únicos enlaces externos son las fuentes de los preajustes y el Comprobador de Robots.txt, que obtiene su archivo publicado desde nuestro servidor solo cuando usted lo abre y pide una comprobación.

Más herramientas de rastreo e indexación