Que fait un testeur de robots.txt ?
Le robots.txt est le fichier texte placé à la racine d'un site web (https://example.com/robots.txt) qui indique aux crawlers quelles URLs ils peuvent explorer. Une seule ligne erronée peut masquer tout un site à Google, ou laisser les crawlers IA lire des pages que vous vouliez tenir à l'écart.
Ce vérificateur télécharge le fichier comme le fait un crawler, lit chaque règle selon la logique de correspondance de Google et vous indique, pour n'importe quelle URL et n'importe quel bot, si elle est autorisée ou bloquée, et quelle ligne en a décidé. Google a retiré son propre outil de test du fichier robots.txt de la Search Console en décembre 2023 : c'est donc un moyen rapide de tester vos règles avant et après les avoir modifiées.
Comment tester votre robots.txt
Tapez un domaine comme example.com, ou l'URL complète d'une page pour tester cette page directement. L'outil récupère /robots.txt à la racine du site et suit les redirections.
Une réponse 200 signifie que les règles s'appliquent. Une 404 signifie que les crawlers peuvent tout explorer. Une erreur serveur pousse Google à cesser d'explorer le site jusqu'à ce que le fichier se charge de nouveau.
Saisissez un chemin comme /blog/post?id=1 et choisissez un crawler. Vous verrez s'il est autorisé ou bloqué, ainsi que la règle exacte et le numéro de ligne correspondants.
Passez en mode Coller un robots.txt pour modifier un brouillon et voir le résultat instantanément, puis publiez-le et vérifiez à nouveau le fichier en ligne.
Advertisement
Comment les crawlers lisent le robots.txt
Google, Bing et la plupart des crawlers respectueux suivent la RFC 9309, le standard d'exclusion des robots. Ces quatre règles déterminent presque tous les résultats :
Un crawler n'obéit qu'au groupe dont le User-agent correspond le plus précisément à son nom. Si Googlebot a son propre groupe, il ignore complètement le groupe User-agent: *.
Quand plusieurs règles correspondent à une URL, celle dont le chemin est le plus long l'emporte. Allow: /shop/sale/ prévaut sur Disallow: /shop/ pour les pages situées sous /shop/sale/.
Si une règle Allow et une règle Disallow ont la même longueur, Google choisit la moins restrictive : Allow.
* correspond à n'importe quelle suite de caractères et $ marque la fin de l'URL. Disallow: /*.pdf$ bloque tous les PDF, mais pas /file.pdf?download=1.
Ce que signifie le statut HTTP du robots.txt
Les crawlers réagissent au code de réponse avant même de lire une seule règle. Voici comment Google traite chaque cas :
Le fichier est lu et ses règles sont suivies. Google lit les 500 premiers Kio et ignore tout ce qui suit.
Google suit au moins cinq redirections. S'il n'a toujours pas atteint de robots.txt, il considère le fichier comme absent.
Traité comme s'il n'y avait pas de robots.txt : toutes les URLs peuvent être explorées. Le code 429 Too Many Requests fait exception.
Google considère tout le site comme bloqué tant que l'erreur dure. Après 30 jours, il se rabat sur la dernière copie en cache, ou n'applique aucune restriction s'il n'en a pas.
Advertisement
Bloquer les crawlers IA avec robots.txt
Les entreprises d'IA utilisent des noms de crawlers distincts pour l'entraînement des modèles, la recherche IA et les récupérations à la demande : vous pouvez donc en bloquer un sans bloquer les autres. Bloquer Google-Extended empêche l'utilisation de votre contenu pour Gemini sans toucher à la recherche Google ; bloquer Googlebot, en revanche, la toucherait.
Le tableau Crawlers IA du vérificateur montre en un coup d'œil lesquels des 13 bots IA votre robots.txt laisse entrer. Pour bloquer les principaux crawlers d'entraînement, ajoutez :
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: CCBot
User-agent: Applebot-Extended
Disallow: /Erreurs fréquentes dans le robots.txt
Un `Disallow: /` oublié depuis la préproduction bloque tout. C'est la raison la plus fréquente pour laquelle un nouveau site n'apparaît jamais dans Google.
Utiliser robots.txt pour masquer des pages. Une URL bloquée peut quand même être indexée grâce aux liens, simplement sans description. Pour exclure une page des résultats, laissez-la explorable et ajoutez une balise meta
noindexou un en-têteX-Robots-Tag.Des lignes `Noindex:` dans robots.txt. Google a cessé de les prendre en charge en septembre 2019 ; elles sont ignorées.
Bloquer le CSS et le JavaScript. Google effectue le rendu des pages comme un navigateur ; des fichiers bloqués peuvent lui donner l'impression que vos pages sont cassées.
Mauvaise casse. Les noms de directives ne sont pas sensibles à la casse, mais les chemins le sont :
Disallow: /Admin/ne bloque pas/admin/.Un seul fichier pour tous les sous-domaines. Le robots.txt ne s'applique qu'à son propre hôte et protocole.
blog.example.coma besoin de son propre fichier.Crawl-delay pour Google. Googlebot l'ignore. Bing le respecte.
Advertisement
Exemples de robots.txt
Copiez le modèle dont vous avez besoin, puis collez votre fichier complet dans le vérificateur pour le tester :
User-agent: *
Disallow:User-agent: *
Disallow: /admin/
Allow: /admin/public/User-agent: *
Disallow: /*?
Disallow: /*.pdf$Sitemap: https://example.com/sitemap.xmlAutres outils SEO et d'exploration
Créez et vérifiez le reste de votre configuration d'exploration :
Créez un robots.txt avec des préréglages et le blocage des bots IA.
Créez un sitemap XML pour votre site web.
Consultez X-Robots-Tag et les autres en-têtes de réponse.
Suivez chaque étape d'une chaîne de redirections.