Outils populaires

Thème

Générateur robots.txt

Créez un robots.txt digne de confiance : chaque règle expliquée pendant que vous la saisissez, le fichier relu par notre testeur robots.txt selon la RFC 9309 et la lecture de Google, et un verdict en direct pour n'importe quel robot et n'importe quel chemin avant la publication.

Préréglages tirés de la documentation de WordPress, de Shopify, de Next.js et de Google · les robots que chaque opérateur documente, classés par usage · la règle décisive et sa ligne · écrit dans votre navigateur, rien n'est envoyé
Écrit et vérifié dans votre navigateur

Un fichier par hôte et par protocole : www.example.com et example.com ont chacun besoin du leur.

Point de départ
Ce qu'il fait
  • Chaque robot peut récupérer chaque URL du site.
  • La ligne Sitemap: indique votre sitemap aux robots.
Ce qu'il ne fait pas
  • Il ne garde rien de privé : robots.txt est un fichier public, et une demande plutôt qu'un verrou.
  • Il ne demande à aucun moteur de recherche d'indexer une page. L'exploration et l'indexation sont deux choses distinctes.

Source : RFC 9309, consultée le 26 octobre 2026.

Règles

Tous les autres robots

User-agent: *

Lu par chaque robot qui n'a pas de groupe à lui.

  • Autorise tout le site.
Google l'ignore ; Bing le lit.

Robots par usage

Choisissez ce que reçoit chaque robot connu. Un robot qui a son propre groupe ne lit que ce groupe.

Moteurs de recherche8

Ils explorent pour construire un index de recherche. Les pages bloquées peuvent quand même être référencées grâce à des liens venus d'ailleurs, mais rien n'y est lu.

  • GooglebotGoogleOui, selon l'opérateur
  • Storebot-GoogleGoogleOui, selon l'opérateur
  • BingbotMicrosoftOui, selon l'opérateur
  • ApplebotAppleOui, selon l'opérateur
  • Amzn-SearchBotAmazonOui, selon l'opérateur
  • DuckDuckBotDuckDuckGoOui, selon l'opérateur
  • YandexBotYandexOui, selon l'opérateur
  • BaiduspiderBaiduL'opérateur ne le dit pas
Entraînement d'IA6

Ils collectent des pages pour entraîner des modèles. Un jeton distinct vous permet de refuser l'entraînement tout en restant dans les résultats de recherche.

  • Google-ExtendedGoogleUn jeton seulement, jamais envoyé dans une requête
  • GPTBotOpenAIOui, selon l'opérateur
  • ClaudeBotAnthropicOui, selon l'opérateur
  • Applebot-ExtendedAppleUn jeton seulement, jamais envoyé dans une requête
  • meta-externalagentMetaOui, selon l'opérateur
  • AmazonbotAmazonOui, selon l'opérateur
Réponses d'IA4

Ils récupèrent des pages pour répondre à des questions avec un lien vers vous.

  • OAI-SearchBotOpenAIOui, selon l'opérateur
  • Claude-SearchBotAnthropicOui, selon l'opérateur
  • PerplexityBotPerplexityOui, selon l'opérateur
  • meta-webindexerMetaOui, selon l'opérateur
À la demande d'une personne5

Ils récupèrent une page parce qu'une personne l'a demandée : certains opérateurs disent donc qu'ils peuvent ignorer robots.txt.

Les refuser, c'est refuser une personne, pas une exploration : quand quelqu'un demande à un assistant d'IA d'ouvrir l'une de vos pages, un assistant qui respecte le fichier ne la lira pas pour lui. Si c'est l'entraînement que vous visez, refusez plutôt les robots d'entraînement ci-dessus.

  • ChatGPT-UserOpenAIPas toujours, selon l'opérateur
  • Claude-UserAnthropicOui, selon l'opérateur
  • Perplexity-UserPerplexityPas toujours, selon l'opérateur
  • meta-externalfetcherMetaPas toujours, selon l'opérateur
  • Amzn-UserAmazonPas toujours, selon l'opérateur
Aperçus, publicité et autres8

Aperçus de liens, outils du propriétaire du site, vérifications publicitaires, archives, et robots dont les opérateurs annoncent une autre mission, ou aucune.

  • Google-InspectionToolGoogleOui, selon l'opérateur
  • GoogleOtherGoogleOui, selon l'opérateur
  • AdsBot-GoogleGoogleOui, selon l'opérateur
  • OAI-AdsBotOpenAIL'opérateur ne le dit pas
  • facebookexternalhitMetaPas toujours, selon l'opérateur
  • meta-externaladsMetaOui, selon l'opérateur
  • BytespiderByteDanceL'opérateur ne le dit pas
  • CCBotCommon CrawlOui, selon l'opérateur

Sitemaps

  • Saisissez votre site ci-dessus et ce champ se remplit.

Le fichier

1 avertissement

Votre robots.txt/robots.txt

2 lignes
  1. User-agent: *
  2. Allow: /

ErreurAvertissementRemarque23 B sur 500 KiB

Ce que dit le testeur

1 avertissement

  • Pas de ligne SitemapAvertissement

    Que faire C'est la ligne la moins coûteuse du fichier, et tous les robots la lisent. Ajoutez Sitemap: avec l'adresse complète de votre sitemap.

Testez-le avant de le publier

Choisissez un robot et un chemin : le verdict, la règle qui en décide et le groupe que lit le robot viennent du moteur de correspondance du Testeur robots.txt lui-même.

Essayez un chemin
Robot

  • Ce robot peut demander l'URL.

    Groupe choisi

    User-agent: *commence à la ligne 1

    Aucun groupe ne nomme ce robot : le groupe * s'applique donc.

    Décidé par

    Allow: /ligne 2

    La même règle couvre aussi

    /any-page

    Comparé

    /

    Seuls le chemin et la requête sont comparés, octet par octet après l'encodage-pourcent. L'hôte, le protocole et le fragment ne font jamais partie d'une règle.

Comment créer un fichier robots.txt

Écrivez les règles, enregistrez-les dans un fichier texte brut nommé robots.txt, encodé en UTF-8, et déposez-le à la racine de votre site, pour qu'il réponde à https://example.com/robots.txt. Il n'y a rien à envoyer : les robots demandent cette adresse d'eux-mêmes.

Google le dit en trois phrases : « Le fichier doit être nommé robots.txt. Votre site ne peut contenir qu'un seul fichier robots.txt. Le fichier robots.txt doit se trouver à la racine de l'hôte du site auquel il s'applique. » Ce doit être « un fichier texte encodé au format UTF-8 », et « les robots d'exploration Google trouvent automatiquement votre fichier robots.txt et se mettent à l'utiliser ».

Le générateur ci-dessus part d'un préréglage, explique chaque règle pendant que vous la saisissez et relit le résultat avec l'analyseur et le moteur de correspondance de notre testeur robots.txt avant toute copie. Le téléchargement s'appelle robots.txt : UTF-8 sans marque d'ordre des octets, des fins de ligne LF uniquement, et aucune date ni aucun commentaire que vous n'avez pas demandés.

Quatre étapes, des règles à un robots.txt qui fonctionne
  1. 1Écrivez les règlesPartez d'un préréglage, puis ajoutez les groupes et les chemins dont votre site a besoin.
  2. 2Enregistrez-le sous robots.txtTexte brut, UTF-8, sans marque d'ordre des octets.
  3. 3Déposez-le à la racineIl doit répondre au premier niveau de l'hôte :https://example.com/robots.txt
  4. 4Testez-leIci avant la publication, puis le fichier en ligne avec le Testeur robots.txt.

Il n'y a pas d'étape d'envoi : les robots d'exploration Google trouvent le fichier d'eux-mêmes.

Générateur robots.txt : le préréglage WordPress, chaque règle expliquée, le fichier numéroté ligne à ligne et les constatsGénérateur robots.txt : le préréglage WordPress, chaque règle expliquée, le fichier numéroté ligne à ligne et les constatsCe que fait le préréglageEt ce qu'il ne fait pas : aucun de ces préréglages ne tient une page à l'écart de Google, et chacun le dit.Chaque règle expliquéeLes chemins qu'une règle bloque et ceux qu'elle manque, d'après le moteur de correspondance qui décide de chaque verdict, et la règle plus longue qui crée une exception.Le fichier et ses constatsLe fichier avec ses numéros de ligne, relu par l'audit du Testeur robots.txt avant toute copie.Le verdictChoisissez un robot et un chemin : autorisé ou bloqué, la règle qui a décidé avec sa ligne, et le groupe que lit le robot.
Le préréglage WordPress dans le générateur : ce que le préréglage fait et ne fait pas, chaque règle expliquée par le moteur de correspondance, le fichier tel qu'il sera publié, et le verdict pour un robot et un chemin. Sélectionnez un numéro pour voir ce que montre chaque partie.

Que contient un fichier robots.txt, ligne par ligne

Des groupes et des lignes Sitemap. Un groupe commence par une ou plusieurs lignes User-agent qui nomment des robots, suivies des règles Allow et Disallow auxquelles ces robots obéissent ; une ligne Sitemap est indépendante, en dehors de tout groupe.

La RFC 9309 définit un groupe comme « une ou plusieurs lignes user-agent suivies d'une ou plusieurs règles », et un robot obéit à un seul groupe : celui qui nomme son propre jeton de produit, ou le groupe * quand aucun ne le fait. Google lit quatre champs et aucun autre : user-agent, allow, disallow et sitemap.

Les noms de champs ne sont pas sensibles à la casse, les chemins le sont : dans l'exemple de Google, disallow: /file.asp s'applique à /file.asp « mais pas » à /FILE.asp. Une ligne Sitemap: doit être une adresse complète, avec le protocole et l'hôte ; ce générateur refuse toute autre forme et dit pourquoi.

Un robots.txt, ligne par ligne
robots.txt
  1. 1User-agent: *Ouvre un groupe pour chaque robot qui n'a pas de groupe à lui
  2. 2Disallow: /cart/Un chemin que ces robots ne doivent pas récupérer
  3. 3Allow: /cart/helpUne exception : plus longue que le Disallow, elle l'emporte
  4. 4
  5. 5User-agent: GPTBotOuvre un groupe qui nomme deux robots
  6. 6User-agent: ClaudeBot
  7. 7Disallow: /Les deux sont refusés sur tout le site
  8. 8
  9. 9Sitemap: https://www.example.org/sitemap.xmlEn dehors de tout groupe : une adresse complète

Allow ou Disallow, * et $ : comment une règle correspond

Quand plusieurs règles correspondent à une URL, celle dont le chemin est le plus long l'emporte, quel que soit son type, et une règle Allow l'emporte en cas d'égalité. * remplace n'importe quelle suite de caractères et $ marque la fin de l'URL ; rien d'autre n'a de sens particulier dans un chemin.

RFC 9309 : « La correspondance la plus spécifique trouvée DOIT être utilisée. La correspondance la plus spécifique est celle qui compte le plus d'octets », et « si une règle allow et une règle disallow sont équivalentes, alors la règle allow DEVRAIT être utilisée. » Le fichier de WordPress fonctionne ainsi : Disallow: /wp-admin/ ferme le dossier, et la règle plus longue Allow: /wp-admin/admin-ajax.php y ouvre un fichier.

Une règle sans $ est un préfixe : Disallow: /admin bloque donc aussi /administrator ; ajoutez la barre oblique (/admin/) quand vous visez le dossier. Sous chaque règle, l'éditeur ci-dessus montre les chemins qu'elle couvre et certains qu'elle ne couvre pas, d'après le moteur de correspondance qui décide de chaque verdict, et il signale une règle qu'une autre bat toujours.

* et $, et ce que chaque motif couvre vraiment
MotifCouvreNe couvre pas
/admin/admin/ · /administrator · /admin-tools/wp-admin
/admin//admin/users/administrator
/*.pdf$/files/report.pdf/report.pdf?v=2
/*?/search?q=x/search

?, ., [ et + sont des caractères ordinaires. Il n'y a pas d'expressions régulières dans robots.txt.

Deux règles correspondent à une URL : le chemin le plus long l'emporte
/admin/report.pdf
  • Disallow: /admin/7 caractères
  • Allow: /admin/report.pdf17 caractères

La règle Allow l'emporte : elle couvre une plus grande partie du chemin.

Une égalité exacte
Disallow: /files/7 caractèresAllow: /files/7 caractères

Même longueur : c'est donc l'Allow qui l'emporte. « La règle la moins restrictive », comme le dit Google.

Le fichier d'exemple appartient à www.example.org, un site inventé : aucun vrai robots.txt n'est présenté comme défaillant.

robots.txt pour WordPress, Shopify et Next.js

Les trois en servent déjà un, et les préréglages ci-dessus écrivent ce que décrit la documentation de chaque plateforme : WordPress refuse sa zone d'administration mais autorise admin-ajax.php, Shopify refuse les paniers, les paiements et les collections filtrées ou triées, et Next.js sert le fichier que vous placez dans app/robots.txt.

WordPress écrit son fichier dans le code, dans do_robots() : User-agent: *, un Disallow pour le chemin d'administration et un Allow pour admin-ajax.php, plus, sur un site public depuis WordPress 5.5, une ligne Sitemap: pour /wp-sitemap.xml. Avec « Demander aux moteurs de recherche de ne pas indexer ce site » coché, WordPress 5.3 et les versions suivantes n'écrivent plus Disallow: / ; elles utilisent plutôt une balise meta robots.

Shopify dit que son fichier par défaut « convient à la plupart des boutiques ». Il n'y a aucun fichier à déposer : le changer, c'est modifier le modèle robots.txt.liquid du thème, ce que Shopify appelle « une personnalisation non prise en charge ». Next.js sert app/robots.txt tel qu'il est écrit, ou construit le fichier à partir de app/robots.ts.

Ce que servent WordPress, Shopify et Next.js, et où le modifier
WordPress
  1. 1User-agent: *
  2. 2Allow: /wp-admin/admin-ajax.php
  3. 3Disallow: /wp-admin/
  4. 4
  5. 5Sitemap: https://example.com/wp-sitemap.xml

Écrit par WordPress lui-même. Modifiez-le avec une extension ou le filtre robots_txt.

Shopify
  1. 1User-agent: *
  2. 2Allow: /
  3. 3Disallow: /admin
  4. 4Disallow: /cart/
  5. 5Disallow: /checkout
  6. 6Disallow: /checkouts/
  7. 7Disallow: /account
  8. 8Disallow: /orders
  9. 9Disallow: /collections/*+*
  10. 10Disallow: /collections/*sort_by*
  11. 11
  12. 12Sitemap: https://example.com/sitemap.xml

Le fichier par défaut de Shopify. Modifiez-le dans le modèle robots.txt.liquid du thème.

Next.js
  1. 1User-agent: *
  2. 2Allow: /
  3. 3
  4. 4Sitemap: https://example.com/sitemap.xml

Votre propre fichier dans app/robots.txt, ou app/robots.ts, servi à /robots.txt.

Chaque fichier est ce qu'écrit, pour example.com, le préréglage du même nom.

Bloquer les robots d'IA : ce qui fonctionne vraiment

Un groupe qui nomme le robot, avec Disallow: / en dessous, fonctionne pour chaque robot dont l'opérateur dit qu'il respecte robots.txt, et seulement pour ceux-là. C'est une demande que le robot honore, pas un verrou : un robot qui ignore le fichier peut quand même récupérer chaque page.

La plupart des entreprises d'IA exploitent plusieurs robots : décidez donc mission par mission. Refuser un robot d'entraînement comme GPTBot ou ClaudeBot refuse celui qui collecte des pages pour les modèles ; refuser un robot de réponses comme OAI-SearchBot ou PerplexityBot vous retire aussi des liens que ces assistants affichent. Le jeton d'entraînement de Google n'est pas Googlebot : « Google-Extended n'a aucune incidence sur l'inclusion d'un site dans la recherche Google et n'est pas utilisé comme signal de classement dans celle-ci. »

Le troisième type est différent. ChatGPT-User, Claude-User, Perplexity-User et Amzn-User récupèrent une page parce qu'une personne a demandé à un assistant de l'ouvrir : les refuser, c'est refuser cette personne, et certains de leurs opérateurs disent que ces robots peuvent de toute façon ignorer robots.txt. C'est pourquoi la liste des robots ci-dessus leur réserve une section à part.

Les trois métiers des robots d'IA, et ce que chaque opérateur dit de robots.txt
OpérateurEntraînementRéponses d'IADemande d'une personne
OpenAIGPTBotRespecteOAI-SearchBotRespecteChatGPT-UserPeut ignorer
AnthropicClaudeBotRespecteClaude-SearchBotRespecteClaude-UserRespecte
PerplexityPas de robot de ce typePerplexityBotRespectePerplexity-UserPeut ignorer
GoogleGoogle-ExtendedJeton seulementPas de robot de ce typePas de robot de ce type
AppleApplebot-ExtendedJeton seulementPas de robot de ce typePas de robot de ce type
Metameta-externalagentRespectemeta-webindexerRespectemeta-externalfetcherPeut ignorer
AmazonAmazonbotRespectePas de robot de ce typeAmzn-UserPeut ignorer
  • EntraînementCollecte des pages pour entraîner un modèle.
  • Réponses d'IARécupère des pages pour répondre à une question, en général avec un lien vers vous.
  • Demande d'une personneRécupère une page parce que quelqu'un l'a demandée. Certains opérateurs disent que celui-ci peut ignorer robots.txt.

robots.txt ne tient pas une page à l'écart de Google : utilisez noindex

Il demande aux robots de ne pas récupérer une page ; il ne demande pas à un moteur de recherche de ne pas la référencer. Google « peut tout de même indexer l'URL et l'afficher dans les résultats de recherche sans extrait » quand d'autres pages pointent vers elle. Pour tenir une page à l'écart, utilisez noindex, et laissez la page explorable pour que la balise puisse être lue.

Search Console appelle cela « Indexée malgré le blocage par le fichier robots.txt ». Et Google est explicite : « pour que la règle noindex soit efficace, la page ou la ressource ne doit pas être bloquée par un fichier robots.txt ». Le noindex d'une page interdite n'est donc jamais vu, puisque le robot ne récupère jamais la page.

C'est pourquoi chaque préréglage ci-dessus dit ce qu'il ne fait pas. Le Disallow: / du préréglage de préproduction tient à l'écart les robots respectueux, mais une URL de préproduction vers laquelle pointe un lien, où que ce soit, peut quand même être référencée : placez la préproduction derrière un mot de passe, et ne livrez jamais cette ligne sur le site en production.

Pourquoi une page interdite peut quand même apparaître dans Google, et pourquoi son noindex n'est jamais lu
  1. Robot
  2. Lit robots.txt
  3. L'URL est interdite
  4. Ne récupère pas la page
La page elle-même<meta name="robots" content="noindex">Jamais lu
Un autre site pointe vers elle
L'index de rechercheL'URL, sans description
Search Console appelle celaIndexée malgré le blocage par le fichier robots.txt

Pour tenir une page à l'écart : laissez entrer le robot et utilisez noindex, ou exigez une connexion.

Où doit se trouver le fichier robots.txt

À la racine de l'hôte auquel il s'applique, sous la forme /robots.txt, un fichier par hôte et par protocole. https://example.com/robots.txt ne dit rien de https://www.example.com ni de https://shop.example.com : chacun a besoin de son propre fichier, et un robots.txt placé dans un dossier n'est jamais lu.

Google : « Vous devez placer le fichier robots.txt dans le répertoire racine d'un site, en utilisant un protocole compatible. » Le rapport robots.txt de Search Console liste séparément les fichiers des 20 principaux hôtes d'une propriété, HTTP et HTTPS comptés à part.

Saisissez votre site en haut du générateur : il donne l'adresse exacte à laquelle le fichier doit répondre, remplit la ligne Sitemap: pour cet hôte et renvoie vers le Testeur robots.txt, qui lit le fichier en ligne une fois qu'il est publié.

Un robots.txt par hôte et par protocole
Ce fichierS'applique à
https://example.com/robots.txtChaque URL de https://example.com
https://www.example.com/robots.txtSeulement www.example.com : un hôte distinct
http://example.com/robots.txtSeulement le site en http:// : un protocole distinct
https://shop.example.com/robots.txtSeulement shop.example.com
https://example.com/blog/robots.txtRien : un robots.txt placé dans un dossier n'est jamais lu

Crawl-delay, Host, Clean-param et Content-Signal

Google ne lit aucune de ces directives. Bing lit Crawl-delay, Yandex lit Clean-param, Host ne figure ni dans la norme ni dans la liste de Google, et le Content-Signal de Cloudflare déclare l'usage permis de votre contenu plutôt que ce qui peut être exploré.

Google liste ses quatre champs et ajoute que « d'autres champs tels que crawl-delay ne sont pas acceptés ». Le blog de Bing dit que « la directive crawl-delay n'accepte comme valeurs que des nombres entiers positifs » : l'éditeur refuse donc une fraction plutôt que d'en écrire une. La page d'aide actuelle de Bing n'a pas pu être lue pour confirmer une plage ou une unité : cette page n'indique donc ni l'une ni l'autre.

Aucune d'elles ne casse un fichier : la RFC 9309 impose que l'analyse d'autres enregistrements « NE DOIT PAS interférer avec l'analyse des enregistrements explicitement définis ». Des quatre, le générateur n'écrit que Crawl-delay, en indiquant qui le lit.

Quel moteur de recherche lit quelle directive
DirectiveGoogleBingYandex
User-agentLa litLa litLa lit
AllowLa litLa litLa lit
DisallowLa litLa litLa lit
SitemapLa litLa litLa lit
Crawl-delayL'ignoreLa litNon confirmé
Clean-paramL'ignoreL'ignoreLa lit
HostL'ignoreL'ignoreNon confirmé
noindexL'ignoreNon confirméNon confirmé
Content-SignalL'ignoreNon confirméNon confirmé
  • Google prend en charge quatre champs et le dit : user-agent, allow, disallow et sitemap.
  • Le blog de Bing confirme Crawl-delay. Nous ne publions ni plage ni unité pour cette directive : la page d'aide actuelle de Bing n'a pas pu être lue pour les vérifier.
  • Retiré par Google en 2019, et jamais dans la norme.
  • La Content Signals Policy de Cloudflare : une déclaration sur l'usage permis du contenu, pas une règle d'exploration.

Comment tester le fichier robots.txt que vous venez d'écrire

Deux fois. Avant la publication, avec Testez-le avant de le publier ci-dessus : choisissez un robot et un chemin, et voyez la règle qui en décide. Après l'avoir déposé, lancez le Testeur robots.txt sur le fichier en ligne, car ce que répond le serveur compte autant que ce que dit le fichier.

Un fichier qui répond 404 est lu comme une absence de fichier : chaque robot peut alors tout prendre ; un fichier qui répond 500 ou 503 signifie qu'un robot qui suit la norme ne doit rien prendre. RFC 9309 §2.3.1.4 : le robot « DOIT supposer une interdiction complète ». Google adoucit cette règle par une échelle qui lui est propre, montrée dans la figure.

L'outil de test robots.txt de Google a disparu : Search Central a annoncé son retrait le 15 novembre 2023, et le rapport robots.txt qui l'a remplacé montre le fichier que Google a récupéré, sans tester une URL par rapport à une règle. Testez-le avant de le publier, dans le générateur ci-dessus, et le testeur robots.txt font ce test.

Ce que chaque réponse à GET /robots.txt signifie pour tout le site
Le serveur répondUn robot, alors
200Suit les règles du fichier.
301, 302Suit au moins cinq sauts, puis s'arrête. Google traite alors le fichier comme un 404.
403, 404Explore tout, comme s'il n'y avait pas de fichier.
429N'explore rien. Google le range avec les réponses 5xx, pas avec les 4xx.
500, 503N'explore rien du tout, selon la norme.
Nom introuvableIl n'y a aucun site à lire, donc aucun verdict.
Ce que Google fait d'un 5xx, jour après jour
  1. 112 premières heuresCesse d'explorer le site et réessaie de récupérer le fichier
  2. 2Jusqu'à 30 joursUtilise sa dernière copie valide de robots.txt
  3. 3Après 30 joursSi le site est accessible, se comporte comme s'il n'y avait pas de robots.txt

Les erreurs robots.txt qui coûtent leur trafic aux sites

Les erreurs les plus coûteuses tiennent chacune en une courte ligne : un Disallow: / resté de la préproduction, un préfixe qui va plus loin que prévu, une ligne Sitemap: écrite comme un chemin, un chemin sans sa barre oblique initiale, et une ligne noindex que Google a cessé de lire en 2019.

Chacune est repérée ici avant toute copie du fichier. L'audit du testeur tourne pendant que vous écrivez et ses constats s'affichent sous le fichier ; une ligne qu'un robot rejetterait n'est jamais écrite, et l'éditeur explique, à côté de la saisie concernée, pourquoi elle a été laissée hors du fichier.

Une erreur est une paire, pas une ligne : une URL interdite ici qui porte aussi un noindex sur la page. Le robot ne récupère jamais la page : il ne voit donc jamais le noindex, et l'URL peut rester dans les résultats de recherche. Choisissez : bloquez l'exploration, ou laissez entrer le robot et dites-lui de ne pas indexer.

Sources

Six erreurs robots.txt, et ce que chacune fait vraiment
La ligne telle qu'écriteCe qui se passe vraiment
Disallow: /Un reste de la préproduction : tout le site en ligne est fermé à tous les robots.
Disallow: /adminBloque aussi /administrator et /admin-tools. Ajoutez la barre oblique finale.
Allow: / sous User-agent: *Jamais lu par un robot qui a son propre groupe, où que ce soit dans le fichier.
Sitemap: /sitemap.xmlUne ligne Sitemap doit être une adresse complète, avec l'hôte.
Disallow: adminUn chemin commence par /. Cette règle ne correspond à rien.
noindex: /private/Mort depuis 2019. La page reste explorable et indexable.

Générateur robots.txt : questions fréquentes

Comment créer un fichier robots.txt ?

Choisissez un préréglage ci-dessus ou écrivez les règles vous-même, puis copiez ou téléchargez le fichier. Enregistrez-le en texte brut UTF-8 sous le nom robots.txt et déposez-le à la racine de votre site, pour qu'il réponde à https://votre-site/robots.txt. Il n'y a pas d'étape d'envoi : les robots d'exploration Google trouvent le fichier d'eux-mêmes. Lancez ensuite le Testeur robots.txt sur l'adresse en ligne pour confirmer que le serveur répond 200.

Où placer le fichier robots.txt ?

À la racine de l'hôte auquel il s'applique, sous la forme /robots.txt, jamais dans un dossier, où aucun robot ne le cherche. Chaque hôte et chaque protocole a besoin de son propre fichier : example.com, www.example.com et shop.example.com servent chacun un robots.txt distinct. Sur Shopify, il n'y a aucun fichier à déposer : vous modifiez le modèle robots.txt.liquid du thème. Dans Next.js, le fichier va dans le dossier app.

Ai-je vraiment besoin d'un fichier robots.txt ?

Pas strictement. Quand un site n'a pas de robots.txt et que l'adresse répond 404, un robot peut tout récupérer, et la RFC 9309 le permet. Un fichier vaut la peine pour la seule ligne Sitemap, et pour tenir les robots à l'écart des paniers, des résultats de recherche internes ou des URL de filtres sans fin. L'essentiel : l'adresse ne doit jamais répondre par une erreur serveur, car un 5xx dit à un robot conforme de ne rien récupérer.

Le fichier robots.txt peut-il retirer une page de Google ?

Non. Il empêche un robot de récupérer la page, pas Google de la référencer. Une URL interdite qui reçoit des liens d'ailleurs peut quand même être indexée et affichée sans description, avec le statut Search Console « Indexée malgré le blocage par le fichier robots.txt ». Pour tenir une page à l'écart, laissez Google l'explorer et servez une balise meta noindex ou un en-tête X-Robots-Tag, ou placez-la derrière une connexion. N'appliquez jamais Disallow et noindex à la même URL.

Bloquer les robots d'IA nuit-il à mon classement dans Google ?

Pas quand vous refusez l'entraînement d'IA. Google-Extended, le jeton que Google lit pour l'entraînement de ses modèles, est distinct de Googlebot, et Google dit qu'il n'a aucune incidence sur l'inclusion d'un site dans la recherche Google et n'est pas un signal de classement. Refuser GPTBot, ClaudeBot ou les autres robots d'entraînement ne change rien non plus pour les moteurs de recherche, parce que chaque robot ne lit que le groupe qui le nomme.

Faut-il bloquer ChatGPT-User et Claude-User ?

Seulement si vous voulez refuser des personnes. Ces robots récupèrent une seule page parce que quelqu'un a demandé à ChatGPT ou à Claude de l'ouvrir : les bloquer empêche l'assistant de cette personne de lire votre page, sans arrêter aucune exploration. Certains opérateurs disent que ces robots peuvent de toute façon ignorer robots.txt. Si c'est l'entraînement qui vous gêne, refusez plutôt GPTBot et ClaudeBot : le préréglage Sans entraînement d'IA fait exactement cela.

Faut-il un robots.txt distinct pour chaque sous-domaine ?

Oui. Un robots.txt ne s'applique qu'à l'hôte et au protocole qui le servent : blog.example.com, shop.example.com et www.example.com ont donc chacun besoin de leur propre fichier, et les règles de example.com/robots.txt ne les atteignent jamais. Le rapport robots.txt de Search Console liste les fichiers par hôte pour la même raison. Saisissez chaque hôte dans le générateur, l'un après l'autre : il remplit la bonne ligne Sitemap pour chacun.

Google prend-il en charge Crawl-delay ?

Non. Google liste les quatre champs qu'il prend en charge — user-agent, allow, disallow et sitemap — et dit que des champs comme crawl-delay ne sont pas acceptés. Bing, lui, le lit, et son blog indique que la valeur doit être un nombre entier positif : c'est pourquoi ce générateur refuse les fractions. Une ligne Crawl-delay ne fait aucun mal, mais elle ne ralentira pas Googlebot, et Search Console n'a plus de réglage de la vitesse d'exploration.

Que contient le robots.txt par défaut de WordPress ?

Trois lignes et, sur un site public, une ligne Sitemap : User-agent: *, un Disallow pour /wp-admin/, un Allow pour /wp-admin/admin-ajax.php et, depuis WordPress 5.5, une ligne Sitemap pour /wp-sitemap.xml. C'est ce qu'écrit la fonction do_robots() de WordPress elle-même. L'Allow, plus long, l'emporte sur le Disallow : admin-ajax.php reste donc explorable. Choisissez le préréglage WordPress pour partir exactement de ce fichier.

Comment tester mon fichier robots.txt ?

Avant la publication, utilisez Testez-le avant de le publier sur cette page : choisissez un robot et un chemin pour voir s'il est autorisé ou bloqué, la règle qui a décidé avec sa ligne, et le groupe que le robot a lu. Après avoir déposé le fichier, lancez le Testeur robots.txt sur votre site en ligne. Il récupère le vrai fichier : il vous dit donc aussi ce que le code d'état du serveur signifie pour chaque robot.

Pourquoi ma règle Allow ne fonctionne-t-elle pas ?

Le plus souvent parce qu'un Disallow plus long correspond à la même URL : le chemin le plus long l'emporte, quel que soit son type, et un Allow ne l'emporte qu'en cas d'égalité. Ou bien le robot a son propre groupe, et ne lit donc jamais le groupe * où figure votre Allow. L'éditeur ci-dessus signale une règle qu'une autre bat toujours, et Testez-le avant de le publier nomme la règle décisive et le groupe que le robot a lu.

Ce générateur est-il gratuit, et envoie-t-il mon fichier ?

Il est gratuit, sans inscription et sans limite quotidienne. Tout se passe dans votre navigateur : le fichier est écrit, analysé et vérifié sur cette page, et rien de ce que vous saisissez n'est envoyé nulle part. Les seuls liens sortants sont les sources des préréglages et le Testeur robots.txt, qui ne récupère votre fichier en ligne depuis notre serveur que lorsque vous l'ouvrez et demandez une vérification.

Plus d'outils d'exploration et d'indexation