¿Qué Hace un Comprobador de Robots.txt?
Robots.txt es el archivo de texto plano situado en la raíz de un sitio web (https://example.com/robots.txt) que indica a los crawlers qué URL pueden rastrear. Una sola línea equivocada puede ocultar todo un sitio a Google, o dejar que los crawlers de IA lean páginas que usted quería mantener fuera de su alcance.
Este comprobador de robots.txt descarga el archivo igual que un crawler, lee cada regla con la lógica de coincidencia de Google y le indica, para cualquier URL y cualquier bot, si está permitida o bloqueada y qué línea lo decidió. Google retiró su propio Probador de robots.txt de Search Console en diciembre de 2023, así que esta es una forma rápida de probar las reglas antes y después de cambiarlas.
Cómo Probar Su Robots.txt
Escriba un dominio como example.com, o la URL completa de una página para probar esa página directamente. El comprobador obtiene /robots.txt de la raíz del sitio y sigue las redirecciones.
Una respuesta 200 significa que las reglas se aplican. Un 404 significa que los crawlers pueden rastrearlo todo. Un error del servidor hace que Google deje de rastrear el sitio hasta que el archivo vuelva a cargarse.
Introduzca una ruta como /blog/post?id=1 y elija un crawler. Verá si está permitida o bloqueada, además de la regla y el número de línea exactos que coincidieron.
Cambie a Pegar robots.txt para editar un borrador y ver el resultado al instante; después, publíquelo y vuelva a comprobar el archivo en vivo.
Advertisement
Cómo Leen los Crawlers el Robots.txt
Google, Bing y la mayoría de los crawlers que respetan las normas siguen el RFC 9309, el estándar de exclusión de robots. Estas cuatro reglas deciden casi todos los resultados:
Un crawler obedece solo al grupo cuyo User-agent coincide de forma más específica con su nombre. Si Googlebot tiene su propio grupo, ignora por completo el grupo User-agent: *.
Cuando varias reglas coinciden con una URL, gana la que tiene la ruta más larga. Allow: /shop/sale/ se impone a Disallow: /shop/ en las páginas bajo /shop/sale/.
Si una regla Allow y una regla Disallow tienen la misma longitud, Google elige la menos restrictiva: Allow.
* coincide con cualquier secuencia de caracteres y $ marca el final de la URL. Disallow: /*.pdf$ bloquea todos los PDF, pero no /file.pdf?download=1.
Qué Significa el Código de Estado HTTP del Robots.txt
Los crawlers reaccionan al código de respuesta antes de leer una sola regla. Así trata Google cada caso:
El archivo se lee y sus reglas se respetan. Google lee los primeros 500 KiB e ignora todo lo que venga después.
Google sigue al menos cinco redirecciones. Si aun así no llega a un robots.txt, trata el archivo como inexistente.
Se trata como si no hubiera robots.txt: se puede rastrear cualquier URL. 429 Too Many Requests es la excepción.
Google trata todo el sitio como bloqueado mientras dure el error. A los 30 días recurre a la última copia en caché o, si no tiene ninguna, asume que no hay restricciones.
Advertisement
Cómo Bloquear Crawlers de IA con Robots.txt
Las empresas de IA usan nombres de crawler distintos para el entrenamiento de modelos, la búsqueda con IA y las solicitudes bajo demanda, así que puede bloquear uno sin afectar a los demás. Bloquear Google-Extended impide que su contenido se use para Gemini, pero no afecta a la Búsqueda de Google; bloquear Googlebot sí lo haría.
La tabla Crawlers de IA del comprobador muestra de un vistazo a cuáles de 13 bots de IA deja entrar su robots.txt. Para bloquear los principales crawlers de entrenamiento, añada:
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: CCBot
User-agent: Applebot-Extended
Disallow: /Errores Comunes en el Robots.txt
Un `Disallow: /` olvidado de un entorno de pruebas (staging) lo bloquea todo. Es la razón más común por la que un sitio nuevo nunca aparece en Google.
Usar robots.txt para ocultar páginas. Una URL bloqueada puede indexarse igualmente a partir de enlaces, solo que sin descripción. Para mantener una página fuera de los resultados, deje que se rastree y añada una metaetiqueta
noindexo una cabeceraX-Robots-Tag.Líneas `Noindex:` en el robots.txt. Google dejó de admitirlas en septiembre de 2019; se ignoran.
Bloquear CSS y JavaScript. Google renderiza las páginas como un navegador; si esos archivos están bloqueados, Google puede ver sus páginas rotas.
Mayúsculas y minúsculas incorrectas. Los nombres de las directivas no distinguen entre mayúsculas y minúsculas, pero las rutas sí:
Disallow: /Admin/no bloquea/admin/.Un solo archivo para todos los subdominios. El robots.txt solo se aplica a su propio host y protocolo.
blog.example.comnecesita su propio archivo.Crawl-delay para Google. Googlebot lo ignora. Bing lo respeta.
Advertisement
Ejemplos de Robots.txt
Copie el patrón que necesite y luego pegue su archivo completo en el comprobador para probarlo:
User-agent: *
Disallow:User-agent: *
Disallow: /admin/
Allow: /admin/public/User-agent: *
Disallow: /*?
Disallow: /*.pdf$Sitemap: https://example.com/sitemap.xmlMás Herramientas de SEO y Rastreo
Cree y compruebe el resto de su configuración de rastreo: