Beliebte Tools

Design

Robots.txt Generator

Erstellen Sie mit diesem Robots.txt Generator auf Deutsch eine robots.txt, der Sie vertrauen können: Jede Regel wird erklärt, während Sie sie eingeben, unser robots.txt-Checker liest die Datei nach RFC 9309 und nach Googles eigener Lesart gegen, und noch vor dem Veröffentlichen sehen Sie für jeden Crawler und jeden Pfad ein Live-Urteil.

Vorlagen auf Grundlage der Dokumentation von WordPress, Shopify, Next.js und Google · die Crawler, die jeder Betreiber dokumentiert, nach Zweck · die entscheidende Regel mit ihrer Zeile · in Ihrem Browser geschrieben, nichts wird hochgeladen
Im Browser geschrieben und geprüft

Eine Datei pro Host und Protokoll: www.example.com und example.com brauchen jeweils eine eigene.

Vorlage
Was die Vorlage tut
  • Jeder Crawler darf jede URL der Website abrufen.
  • Die Sitemap:-Zeile führt Crawler zu Ihrer Sitemap.
Was sie nicht tut
  • Privat bleibt damit nichts: Die robots.txt ist eine öffentliche Datei und eine Bitte, kein Schloss.
  • Eine Suchmaschine wird damit nicht gebeten, eine Seite zu indexieren. Crawlen und Indexieren sind zwei verschiedene Dinge.

Quelle: RFC 9309, gelesen am 26. Oktober 2026.

Regeln

Alle anderen Crawler

User-agent: *

Gilt für jeden Crawler, der keine eigene Gruppe hat.

  • Erlaubt die ganze Website.
Google ignoriert es, Bing liest es.

Crawler nach Zweck

Legen Sie fest, was jeder bekannte Crawler bekommt. Ein Crawler mit eigener Gruppe liest nur diese Gruppe.

Suchmaschinen8

Diese Crawler crawlen, um einen Suchindex aufzubauen. Gesperrte Seiten können trotzdem über Links von anderswo aufgeführt werden, nur wird nichts aus ihnen gelesen.

  • GooglebotGoogleJa, laut Betreiber
  • Storebot-GoogleGoogleJa, laut Betreiber
  • BingbotMicrosoftJa, laut Betreiber
  • ApplebotAppleJa, laut Betreiber
  • Amzn-SearchBotAmazonJa, laut Betreiber
  • DuckDuckBotDuckDuckGoJa, laut Betreiber
  • YandexBotYandexJa, laut Betreiber
  • BaiduspiderBaiduDer Betreiber sagt es nicht
KI-Training6

Diese Crawler sammeln Seiten, um Modelle zu trainieren. Ein eigenes Token erlaubt es, das Training abzulehnen und trotzdem in Suchergebnissen zu erscheinen.

  • Google-ExtendedGoogleNur ein Token, nie in einer Anfrage gesendet
  • GPTBotOpenAIJa, laut Betreiber
  • ClaudeBotAnthropicJa, laut Betreiber
  • Applebot-ExtendedAppleNur ein Token, nie in einer Anfrage gesendet
  • meta-externalagentMetaJa, laut Betreiber
  • AmazonbotAmazonJa, laut Betreiber
KI-Antworten4

Diese Crawler rufen Seiten ab, um Fragen mit einem Link zurück zu Ihnen zu beantworten.

  • OAI-SearchBotOpenAIJa, laut Betreiber
  • Claude-SearchBotAnthropicJa, laut Betreiber
  • PerplexityBotPerplexityJa, laut Betreiber
  • meta-webindexerMetaJa, laut Betreiber
Für eine Person abgerufen5

Diese Crawler rufen eine Seite ab, weil eine Person danach gefragt hat; manche Betreiber sagen deshalb, dass sie robots.txt ignorieren können.

Wer diese sperrt, sperrt eine Person aus, keinen Crawl: Bittet jemand einen KI-Assistenten, eine Ihrer Seiten zu öffnen, liest ein Assistent, der die Datei befolgt, sie für diese Person nicht. Sperren Sie die Trainings-Crawler oben, wenn es Ihnen um das Training geht.

  • ChatGPT-UserOpenAINicht immer, laut Betreiber
  • Claude-UserAnthropicJa, laut Betreiber
  • Perplexity-UserPerplexityNicht immer, laut Betreiber
  • meta-externalfetcherMetaNicht immer, laut Betreiber
  • Amzn-UserAmazonNicht immer, laut Betreiber
Vorschauen, Werbung und andere8

Linkvorschauen, Tools für Website-Inhaber, Werbeprüfungen, Archive und Crawler, deren Betreiber eine andere oder gar keine Aufgabe nennen.

  • Google-InspectionToolGoogleJa, laut Betreiber
  • GoogleOtherGoogleJa, laut Betreiber
  • AdsBot-GoogleGoogleJa, laut Betreiber
  • OAI-AdsBotOpenAIDer Betreiber sagt es nicht
  • facebookexternalhitMetaNicht immer, laut Betreiber
  • meta-externaladsMetaJa, laut Betreiber
  • BytespiderByteDanceDer Betreiber sagt es nicht
  • CCBotCommon CrawlJa, laut Betreiber

Sitemaps

  • Geben Sie oben Ihre Website ein, dann wird das hier ausgefüllt.

Die Datei

1 Warnung

Ihre robots.txt/robots.txt

2 Zeilen
  1. User-agent: *
  2. Allow: /

FehlerWarnungHinweis23 B von 500 KiB

Was der Checker sagt

1 Warnung

  • Keine Sitemap-ZeileWarnung

    Was zu tun ist Die Sitemap-Zeile ist die günstigste Zeile der Datei, und jeder Crawler liest sie. Fügen Sie Sitemap: mit der vollständigen Adresse Ihrer Sitemap hinzu.

Vor dem Veröffentlichen testen

Wählen Sie einen Crawler und einen Pfad: Das Urteil, die Regel, die es fällt, und die Gruppe, die der Crawler liest, kommen aus dem Matcher des Robots.txt Checkers selbst.

Pfad ausprobieren
Crawler

  • Dieser Crawler darf die URL abrufen.

    Gewählte Gruppe

    User-agent: *beginnt in Zeile 1

    Keine Gruppe nennt diesen Crawler, deshalb gilt die *-Gruppe.

    Entschieden durch

    Allow: /Zeile 2

    Dieselbe Regel erfasst auch

    /any-page

    Verglichen

    /

    Verglichen werden nur Pfad und Query, Byte für Byte nach der Prozentkodierung. Host, Schema und Fragment sind nie Teil einer Regel.

Wie Sie eine robots.txt-Datei erstellen

Schreiben Sie die Regeln, speichern Sie sie als reine Textdatei namens robots.txt in UTF-8 und laden Sie sie in die oberste Ebene Ihrer Website hoch, sodass sie unter https://example.com/robots.txt abrufbar ist. Einreichen müssen Sie nichts: Crawler fragen diese Adresse von selbst ab.

Google fasst es in drei Sätzen zusammen: „Die Datei muss den Namen ‚robots.txt‘ haben. Die Website darf nur genau eine robots.txt-Datei enthalten. Die robots.txt-Datei muss sich im Stammverzeichnis des Websitehosts befinden, für den sie eingerichtet wird.“ Die Datei muss „eine UTF-8-codierte Textdatei“ sein, und ist sie hochgeladen, „finden und verwenden die Google-Crawler sie automatisch“.

Der Generator oben beginnt mit einer Vorlage, erklärt jede Regel, während Sie sie eingeben, und liest das Ergebnis mit dem Parser und dem Matcher unseres robots.txt-Checkers gegen, bevor Sie es kopieren. Der Download heißt robots.txt: UTF-8 ohne Byte Order Mark, nur LF-Zeilenumbrüche und weder ein Datum noch ein Kommentar, um den Sie nicht gebeten haben.

Vier Schritte von den Regeln zur funktionierenden robots.txt
  1. 1Regeln schreibenMit einer Vorlage beginnen, dann die Gruppen und Pfade ergänzen, die Ihre Website braucht.
  2. 2Als robots.txt speichernReiner Text, UTF-8, ohne Byte Order Mark.
  3. 3Ins Wurzelverzeichnis hochladenDie Datei muss ganz oben auf dem Host abrufbar sein:https://example.com/robots.txt
  4. 4TestenHier vor dem Veröffentlichen, danach die Live-Datei mit dem Robots.txt Checker.

Einen Schritt zum Einreichen gibt es nicht: Die Crawler von Google finden die Datei von selbst.

Robots.txt Generator: die WordPress-Vorlage, jede Regel erklärt, die Datei mit ihren Zeilennummern und die BefundeRobots.txt Generator: die WordPress-Vorlage, jede Regel erklärt, die Datei mit ihren Zeilennummern und die BefundeWas die Vorlage tutUnd was sie nicht tut: Keine dieser Vorlagen hält eine Seite aus Google heraus, und jede sagt das auch.Jede Regel erklärtDie Pfade, die eine Regel sperrt, und die, die sie verfehlt, aus demselben Matcher, der jedes Urteil fällt, dazu die längere Regel, die eine Ausnahme schafft.Die Datei und ihre BefundeDie Datei mit ihren Zeilennummern, gegengelesen von der Prüfung des Robots.txt Checkers, bevor Sie sie kopieren.Das UrteilWählen Sie einen Crawler und einen Pfad: erlaubt oder gesperrt, die Regel, die entschieden hat, mit ihrer Zeile, und die Gruppe, die der Crawler liest.
Die WordPress-Vorlage im Generator: was die Vorlage tut und was nicht, jede Regel vom Matcher erklärt, die Datei so, wie sie veröffentlicht wird, und das Urteil für einen Crawler und einen Pfad. Wählen Sie eine Zahl, um zu sehen, was der jeweilige Teil zeigt.

Was in eine robots.txt gehört, Zeile für Zeile

Gruppen und Sitemap-Zeilen. Eine Gruppe beginnt mit einer oder mehreren User-agent-Zeilen, die Crawler nennen, gefolgt von den Allow- und Disallow-Regeln, die diese Crawler befolgen; eine Sitemap-Zeile steht für sich, außerhalb jeder Gruppe.

RFC 9309 definiert eine Gruppe als „eine oder mehrere user-agent-Zeilen, auf die eine oder mehrere Regeln folgen“, und ein Crawler befolgt genau eine Gruppe: die, die sein eigenes Produkt-Token nennt, oder die *-Gruppe, wenn keine das tut. Google liest vier Felder und keine anderen: user-agent, allow, disallow und sitemap.

Bei Feldnamen spielt die Groß- und Kleinschreibung keine Rolle, bei Pfaden schon: In Googles eigenem Beispiel gilt disallow: /file.asp für /file.asp, „aber nicht für“ /FILE.asp. Eine Sitemap:-Zeile muss eine vollständige Adresse mit Protokoll und Host sein; dieser Generator lehnt jede andere Form ab und sagt, warum.

Eine robots.txt, Zeile für Zeile
robots.txt
  1. 1User-agent: *Beginnt eine Gruppe für jeden Crawler ohne eigene Gruppe
  2. 2Disallow: /cart/Ein Pfad, den diese Crawler nicht abrufen dürfen
  3. 3Allow: /cart/helpEine Ausnahme: länger als das Disallow, also gewinnt sie
  4. 4
  5. 5User-agent: GPTBotBeginnt eine Gruppe, die zwei Crawler nennt
  6. 6User-agent: ClaudeBot
  7. 7Disallow: /Beide sind für die ganze Website gesperrt
  8. 8
  9. 9Sitemap: https://www.example.org/sitemap.xmlAußerhalb jeder Gruppe: eine vollständige Adresse

Allow vs. Disallow, * und $: Wie eine Regel greift

Passen mehrere Regeln auf eine URL, gewinnt die mit dem längsten Pfad, egal welcher Art sie ist, und bei Gleichstand gewinnt Allow. * steht für eine beliebige Zeichenfolge, $ markiert das Ende der URL; sonst hat nichts in einem Pfad eine besondere Bedeutung.

RFC 9309: „Der spezifischste Treffer MUSS verwendet werden. Der spezifischste Treffer ist der mit den meisten Oktetten“, und „wenn eine allow-Regel und eine disallow-Regel gleichwertig sind, SOLLTE die allow-Regel verwendet werden.“ Die Datei von WordPress funktioniert genau so: Disallow: /wp-admin/ schließt den Ordner, und das längere Allow: /wp-admin/admin-ajax.php öffnet eine Datei darin.

Eine Regel ohne $ ist ein Präfix, Disallow: /admin sperrt also auch /administrator; setzen Sie den Schrägstrich ans Ende (/admin/), wenn Sie den Ordner meinen. Unter jeder Regel zeigt der Editor oben die Pfade, die sie erfasst, und einige, die sie nicht erfasst, aus dem Matcher, der jedes Urteil fällt, und er markiert eine Regel, gegen die sich immer eine andere durchsetzt.

* und $ und was jedes Muster wirklich erfasst
MusterErfasstErfasst nicht
/admin/admin/ · /administrator · /admin-tools/wp-admin
/admin//admin/users/administrator
/*.pdf$/files/report.pdf/report.pdf?v=2
/*?/search?q=x/search

?, ., [ und + sind gewöhnliche Zeichen. In der robots.txt gibt es keine regulären Ausdrücke.

Zwei Regeln passen auf eine URL: Der längere Pfad gewinnt
/admin/report.pdf
  • Disallow: /admin/7 Zeichen
  • Allow: /admin/report.pdf17 Zeichen

Das Allow gewinnt: Es deckt mehr vom Pfad ab.

Ein exakter Gleichstand
Disallow: /files/7 ZeichenAllow: /files/7 Zeichen

Gleiche Länge, also gewinnt das Allow. Die „am wenigsten restriktive“ Regel, wie Google es ausdrückt.

Die Beispieldatei gehört zu www.example.org, einer erfundenen Website: Keine echte robots.txt wird als fehlerhaft gezeigt.

robots.txt für WordPress, Shopify und Next.js

Alle drei liefern bereits eine aus, und die Vorlagen oben schreiben, was die eigene Dokumentation jeder Plattform beschreibt: WordPress sperrt seinen Admin-Bereich, erlaubt aber admin-ajax.php, Shopify sperrt Warenkörbe, Checkouts sowie gefilterte oder sortierte Kollektionen, und Next.js liefert die Datei aus, die Sie in app/robots.txt ablegen.

WordPress schreibt seine Datei im Code, in do_robots(): User-agent: *, ein Disallow für den Admin-Pfad und ein Allow für admin-ajax.php, dazu auf einer öffentlichen Website seit WordPress 5.5 eine Sitemap:-Zeile für /wp-sitemap.xml. Ist „Suchmaschinen davon abraten“ aktiviert, schreibt WordPress ab Version 5.3 kein Disallow: / mehr, sondern setzt stattdessen ein Robots-Meta-Tag.

Shopify sagt, dass seine Standarddatei „für die meisten Shops funktioniert“. Eine Datei zum Hochladen gibt es nicht: Wer sie ändern will, bearbeitet das Template robots.txt.liquid des Themes, was Shopify „eine nicht unterstützte Anpassung“ nennt. Next.js liefert app/robots.txt so aus, wie die Datei geschrieben ist, oder erzeugt sie aus app/robots.ts.

Was WordPress, Shopify und Next.js ausliefern und wo Sie es ändern
WordPress
  1. 1User-agent: *
  2. 2Allow: /wp-admin/admin-ajax.php
  3. 3Disallow: /wp-admin/
  4. 4
  5. 5Sitemap: https://example.com/wp-sitemap.xml

Von WordPress selbst geschrieben. Ändern lässt sie sich per Plugin oder mit dem Filter robots_txt.

Shopify
  1. 1User-agent: *
  2. 2Allow: /
  3. 3Disallow: /admin
  4. 4Disallow: /cart/
  5. 5Disallow: /checkout
  6. 6Disallow: /checkouts/
  7. 7Disallow: /account
  8. 8Disallow: /orders
  9. 9Disallow: /collections/*+*
  10. 10Disallow: /collections/*sort_by*
  11. 11
  12. 12Sitemap: https://example.com/sitemap.xml

Shopifys Standard. Ändern lässt er sich im Template robots.txt.liquid des Themes.

Next.js
  1. 1User-agent: *
  2. 2Allow: /
  3. 3
  4. 4Sitemap: https://example.com/sitemap.xml

Ihre eigene Datei in app/robots.txt oder app/robots.ts, ausgeliefert unter /robots.txt.

Jede Datei ist das, was die gleichnamige Vorlage für example.com schreibt.

KI-Crawler sperren: Was wirklich funktioniert

Eine Gruppe, die den Crawler nennt, mit Disallow: / darunter, wirkt bei jedem Crawler, dessen Betreiber sagt, dass er die robots.txt befolgt, und nur bei diesen. Das ist eine Bitte, die der Crawler respektiert, kein Schloss: Ein Crawler, der die Datei ignoriert, kann trotzdem jede Seite abrufen.

Die meisten KI-Unternehmen betreiben mehr als einen Crawler, entscheiden Sie also je Aufgabe. Wer einen Trainings-Crawler wie GPTBot oder ClaudeBot sperrt, sperrt den, der Seiten für Modelle sammelt; wer einen Antwort-Crawler wie OAI-SearchBot oder PerplexityBot sperrt, verschwindet auch aus den Links, die diese Assistenten zeigen. Googles Trainings-Token ist nicht Googlebot: „Google-Extended hat keinen Einfluss auf die Aufnahme einer Website in die Google Suche und wird auch nicht als Ranking-Signal in der Google Suche verwendet.“

Die dritte Art ist anders. ChatGPT-User, Claude-User, Perplexity-User und Amzn-User rufen eine einzelne Seite ab, weil eine Person einen Assistenten gebeten hat, sie zu öffnen; wer sie sperrt, sperrt also diese Person aus, und manche ihrer Betreiber sagen, dass diese Abrufe die robots.txt ohnehin ignorieren können. Die Crawler-Liste oben führt sie deshalb in einem eigenen Abschnitt.

Die drei Aufgaben der KI-Crawler und was jeder Betreiber über robots.txt sagt
BetreiberTrainingKI-AntwortenAnfrage einer Person
OpenAIGPTBotBefolgtOAI-SearchBotBefolgtChatGPT-UserKann ignorieren
AnthropicClaudeBotBefolgtClaude-SearchBotBefolgtClaude-UserBefolgt
PerplexityKein solcher CrawlerPerplexityBotBefolgtPerplexity-UserKann ignorieren
GoogleGoogle-ExtendedNur TokenKein solcher CrawlerKein solcher Crawler
AppleApplebot-ExtendedNur TokenKein solcher CrawlerKein solcher Crawler
Metameta-externalagentBefolgtmeta-webindexerBefolgtmeta-externalfetcherKann ignorieren
AmazonAmazonbotBefolgtKein solcher CrawlerAmzn-UserKann ignorieren
  • TrainingSammelt Seiten, um ein Modell zu trainieren.
  • KI-AntwortenRuft Seiten ab, um eine Frage zu beantworten, meist mit einem Link zurück zu Ihnen.
  • Anfrage einer PersonRuft eine Seite ab, weil jemand danach gefragt hat. Manche Betreiber sagen, dass dieser Crawler robots.txt ignorieren kann.

robots.txt hält eine Seite nicht aus Google heraus: Nutzen Sie noindex

Die Datei bittet Crawler, eine Seite nicht abzurufen; sie bittet keine Suchmaschine, die Seite nicht aufzulisten. Verlinken andere Seiten auf sie, kann die URL laut Google „möglicherweise dennoch indexiert und ohne Snippet in den Suchergebnissen angezeigt werden“. Um eine Seite herauszuhalten, nutzen Sie noindex und lassen die Seite crawlbar, damit das Tag gelesen werden kann.

Die Search Console nennt das „Indexiert, obwohl durch robots.txt-Datei blockiert“. Und Google sagt es ausdrücklich: „Damit die Regel noindex wirksam wird, darf die Seite oder Ressource nicht durch eine robots.txt-Datei blockiert werden“. Das eigene noindex einer gesperrten Seite wird nie gesehen, weil der Crawler die Seite nie abruft.

Deshalb sagt jede Vorlage oben, was sie nicht tut. Das Disallow: / der Staging-Vorlage hält höfliche Crawler fern, aber eine Staging-URL, auf die irgendwo verlinkt wird, kann trotzdem aufgelistet werden: Schützen Sie das Staging mit einem Passwort, und bringen Sie diese Zeile nie auf die Live-Website.

Warum eine gesperrte Seite trotzdem in Google erscheinen kann und warum ihr noindex nie gelesen wird
  1. Crawler
  2. Liest die robots.txt
  3. Die URL ist gesperrt
  4. Ruft die Seite nicht ab
Die Seite selbst<meta name="robots" content="noindex">Nie gelesen
Eine andere Website verlinkt darauf
Der SuchindexDie URL, ohne Beschreibung
Die Search Console nennt dasIndexiert, obwohl durch robots.txt-Datei blockiert

Um eine Seite herauszuhalten: den Crawler hereinlassen und noindex verwenden, oder eine Anmeldung verlangen.

Wo die robots.txt-Datei liegen muss

Im Wurzelverzeichnis des Hosts, für den sie gilt, als /robots.txt, eine Datei pro Host und Protokoll. https://example.com/robots.txt sagt nichts über https://www.example.com oder https://shop.example.com: Jeder dieser Hosts braucht eine eigene Datei, und eine robots.txt in einem Ordner wird nie gelesen.

Google: „Die robots.txt-Datei muss, unter Berücksichtigung der unterstützten Protokolle, im Stammverzeichnis der Website abgelegt werden.“ Der robots.txt-Bericht der Search Console listet die Dateien der 20 wichtigsten Hosts einer Property getrennt auf, HTTP und HTTPS jeweils für sich gezählt.

Geben Sie oben im Generator Ihre Website ein: Er nennt die genaue Adresse, unter der die Datei abrufbar sein muss, füllt die Sitemap:-Zeile für diesen Host aus und verlinkt auf den Robots.txt Checker, der die Live-Datei liest, sobald sie online ist.

Eine robots.txt pro Host und Protokoll
Diese DateiGilt für
https://example.com/robots.txtJede URL auf https://example.com
https://www.example.com/robots.txtNur www.example.com: ein eigener Host
http://example.com/robots.txtNur die http://-Website: ein eigenes Protokoll
https://shop.example.com/robots.txtNur shop.example.com
https://example.com/blog/robots.txtNichts: Eine robots.txt in einem Ordner wird nie gelesen

Crawl-delay, Host, Clean-param und Content-Signal

Google liest keine davon. Crawl-delay liest Bing, Clean-param Yandex, Host steht weder im Standard noch in Googles Liste, und Cloudflares Content-Signal sagt, wofür Ihre Inhalte verwendet werden dürfen, nicht, was gecrawlt werden darf.

Google nennt seine vier Felder und ergänzt: „andere Felder wie crawl-delay werden nicht unterstützt“. Bings eigener Blog sagt: „Die crawl-delay-Anweisung akzeptiert als Werte nur positive ganze Zahlen“, deshalb lehnt der Editor einen Dezimalwert ab, statt ihn zu schreiben. Bings aktuelle Hilfeseite ließ sich nicht lesen, um einen Wertebereich oder eine Einheit zu bestätigen, deshalb nennt diese Seite keines von beiden.

Keine davon macht eine Datei kaputt: RFC 9309 verlangt, dass das Parsen anderer Einträge „das Parsen ausdrücklich definierter Einträge NICHT beeinträchtigen DARF“. Von den vieren schreibt der Generator nur Crawl-delay, mit dem Hinweis, wer es liest.

Welche Suchmaschine welche Anweisung liest
AnweisungGoogleBingYandex
User-agentLiest sieLiest sieLiest sie
AllowLiest sieLiest sieLiest sie
DisallowLiest sieLiest sieLiest sie
SitemapLiest sieLiest sieLiest sie
Crawl-delayIgnoriert sieLiest sieNicht bestätigt
Clean-paramIgnoriert sieIgnoriert sieLiest sie
HostIgnoriert sieIgnoriert sieNicht bestätigt
noindexIgnoriert sieNicht bestätigtNicht bestätigt
Content-SignalIgnoriert sieNicht bestätigtNicht bestätigt
  • Google unterstützt vier Felder und sagt das auch: user-agent, allow, disallow und sitemap.
  • Bings eigener Blog bestätigt Crawl-delay. Einen Wertebereich oder eine Einheit nennen wir nicht: Bings aktuelle Hilfeseite ließ sich nicht lesen, um beides zu prüfen.
  • Von Google 2019 abgeschafft und nie Teil des Standards.
  • Cloudflares Content Signals Policy: eine Aussage darüber, wie Inhalte verwendet werden dürfen, keine Crawl-Regel.

So testen Sie die robots.txt, die Sie gerade geschrieben haben

Zweimal. Zuerst hier, mit Vor dem Veröffentlichen testen oben: Wählen Sie einen Crawler und einen Pfad und sehen Sie die Regel, die entscheidet. Dann, nach dem Hochladen, mit dem Robots.txt Checker auf der Live-Datei, denn was der Server antwortet, zählt genauso viel wie das, was in der Datei steht.

Eine Datei, die mit 404 antwortet, gilt als gar keine Datei, jeder Crawler darf also alles abrufen; antwortet sie mit 500 oder 503, darf ein Crawler, der dem Standard folgt, nichts abrufen. RFC 9309 §2.3.1.4: Dann „MUSS der Crawler von einem vollständigen Disallow ausgehen“. Google entschärft das mit einer eigenen Stufenfolge, die die Abbildung zeigt.

Googles eigener robots.txt-Tester ist Geschichte: Search Central kündigte am 15. November 2023 sein Aus an, und der robots.txt-Bericht, der ihn ersetzt hat, zeigt die Datei, die Google abgerufen hat, ohne eine URL gegen eine Regel zu testen. Diesen Test machen Vor dem Veröffentlichen testen im Generator oben und der robots.txt-Checker.

Was jede Antwort auf GET /robots.txt für die ganze Website bedeutet
Der Server antwortetEin Crawler daraufhin
200Befolgt die Regeln in der Datei.
301, 302Folgt mindestens fünf Hops und bricht dann ab. Google wertet die Datei danach als 404.
403, 404Crawlt alles, als gäbe es keine Datei.
429Crawlt nichts. Google zählt das zu den 5xx-Antworten, nicht zu den 4xx.
500, 503Crawlt laut Standard gar nichts.
Kein solcher NameEs gibt keine Website zu lesen, also gibt es kein Urteil.
Was Google bei einem 5xx Tag für Tag tut
  1. 1Erste 12 StundenStoppt das Crawlen der Website und versucht weiter, die Datei abzurufen
  2. 2Bis zu 30 TageNutzt seine letzte gute Kopie der robots.txt
  3. 3Nach 30 TagenVerhält sich, wenn die Website erreichbar ist, als gäbe es keine robots.txt

robots.txt-Fehler, die Websites ihren Traffic kosten

Die teuren Fehler sind jeweils eine kurze Zeile: ein Disallow: /, das vom Staging übrig geblieben ist, ein Präfix, das weiter reicht als gewollt, eine Sitemap:-Zeile mit einem Pfad, ein Pfad ohne führenden Schrägstrich und eine noindex-Zeile, die Google seit 2019 nicht mehr liest.

Jeder davon wird hier abgefangen, bevor Sie die Datei kopieren. Die Prüfung des Checkers läuft beim Tippen mit, und ihre Befunde stehen unter der Datei; eine Zeile, die ein Crawler ablehnen würde, wird gar nicht erst geschrieben, und der Editor sagt direkt an der Eingabe, warum sie ausgelassen wurde.

Ein Fehler ist ein Paar, keine einzelne Zeile: eine URL, die hier gesperrt ist und auf der Seite zugleich noindex trägt. Der Crawler ruft die Seite nie ab, sieht also nie das noindex, und die URL kann in den Suchergebnissen bleiben. Entscheiden Sie sich: das Crawlen sperren, oder den Crawler hereinlassen und ihm sagen, dass er nicht indexieren soll.

Quellen

Sechs Fehler in der robots.txt und was jeder davon wirklich bewirkt
Die Zeile, wie sie dastehtWas tatsächlich passiert
Disallow: /Vom Staging übrig geblieben: Die ganze Live-Website ist für jeden Crawler gesperrt.
Disallow: /adminSperrt auch /administrator und /admin-tools. Setzen Sie den Schrägstrich ans Ende.
Allow: / unter User-agent: *Ein Crawler, der irgendwo in der Datei eine eigene Gruppe hat, liest es nie.
Sitemap: /sitemap.xmlEine Sitemap-Zeile muss eine vollständige Adresse mit Host sein.
Disallow: adminEin Pfad beginnt bei /. Diese Regel passt auf nichts.
noindex: /private/Seit 2019 tot. Die Seite bleibt crawlbar und indexierbar.

Robots.txt Generator auf Deutsch: häufige Fragen

Wie erstelle ich eine robots.txt-Datei?

Wählen Sie oben eine Vorlage oder schreiben Sie die Regeln selbst, und kopieren Sie die Datei oder laden Sie sie herunter. Speichern Sie sie als reinen UTF-8-Text namens robots.txt und laden Sie sie ins Wurzelverzeichnis Ihrer Website hoch, sodass sie unter https://ihre-website/robots.txt abrufbar ist. Einreichen müssen Sie nichts: Die Crawler von Google finden die Datei von selbst. Prüfen Sie dann die Live-Adresse mit dem Robots.txt Checker, um sicherzugehen, dass der Server mit 200 antwortet.

Wohin gehört die robots.txt-Datei?

Ins Wurzelverzeichnis des Hosts, für den sie gilt, als /robots.txt, nie in einen Ordner, wo kein Crawler nach ihr sucht. Jeder Host und jedes Protokoll braucht eine eigene Datei, example.com, www.example.com und shop.example.com liefern also jeweils eine eigene robots.txt aus. Auf Shopify gibt es keine Datei zum Hochladen: Sie bearbeiten das Template robots.txt.liquid des Themes. In Next.js kommt die Datei in den Ordner app.

Brauche ich überhaupt eine robots.txt-Datei?

Nicht unbedingt. Hat eine Website keine robots.txt und antwortet die Adresse mit 404, darf ein Crawler alles abrufen, und RFC 9309 erlaubt das so. Eine Datei lohnt sich schon wegen der Sitemap-Zeile und um Crawler von Warenkörben, internen Suchergebnissen oder endlosen Filter-URLs fernzuhalten. Am wichtigsten ist, dass die Adresse nie mit einem Serverfehler antwortet: Ein 5xx sagt einem standardkonformen Crawler, gar nichts abzurufen.

Kann robots.txt eine Seite aus Google entfernen?

Nein. Die Datei hält einen Crawler davon ab, die Seite abzurufen, nicht Google davon, sie aufzulisten. Eine gesperrte URL, auf die von anderswo verlinkt wird, kann trotzdem indexiert und ohne Beschreibung angezeigt werden, mit dem Search-Console-Status „Indexiert, obwohl durch robots.txt-Datei blockiert“. Um eine Seite herauszuhalten, lassen Sie Google sie crawlen und liefern ein noindex-Meta-Tag oder einen X-Robots-Tag-Header aus, oder Sie stellen sie hinter eine Anmeldung. Kombinieren Sie für dieselbe URL nie Disallow und noindex.

Schadet das Sperren von KI-Crawlern meinen Google-Rankings?

Nicht, wenn Sie das KI-Training ablehnen. Google-Extended, das Token, das Google für das Modelltraining liest, ist von Googlebot getrennt, und laut Google hat es keinen Einfluss auf die Aufnahme einer Website in die Google Suche und ist kein Ranking-Signal. Wer GPTBot, ClaudeBot oder die anderen Trainings-Crawler sperrt, ändert auch für Suchmaschinen nichts, denn jeder Crawler liest nur die Gruppe, die ihn nennt.

Sollte ich ChatGPT-User und Claude-User sperren?

Nur, wenn Sie Menschen abweisen wollen. Diese Crawler rufen eine einzelne Seite ab, weil jemand ChatGPT oder Claude gebeten hat, sie zu öffnen; wer sie sperrt, hält den Assistenten dieser Person davon ab, Ihre Seite zu lesen, stoppt aber keinen Crawl. Manche Betreiber sagen, dass diese Abrufe die robots.txt ohnehin ignorieren können. Stört Sie das Training, sperren Sie stattdessen GPTBot und ClaudeBot: Die Vorlage „Kein KI-Training“ tut genau das.

Brauche ich für jede Subdomain eine eigene robots.txt?

Ja. Eine robots.txt gilt nur für den Host und das Protokoll, unter dem sie ausgeliefert wird, blog.example.com, shop.example.com und www.example.com brauchen also jeweils eine eigene Datei, und die Regeln in example.com/robots.txt erreichen sie nie. Aus demselben Grund listet der robots.txt-Bericht der Search Console die Dateien pro Host auf. Geben Sie die Hosts nacheinander in den Generator ein: Er füllt für jeden die passende Sitemap-Zeile aus.

Unterstützt Google Crawl-delay?

Nein. Google nennt die vier Felder, die es unterstützt – user-agent, allow, disallow und sitemap – und sagt, dass Felder wie crawl-delay nicht unterstützt werden. Bing liest die Angabe dagegen, und laut Bings eigenem Blog muss der Wert eine positive ganze Zahl sein, weshalb dieser Generator Dezimalwerte ablehnt. Eine Crawl-delay-Zeile schadet nicht, bremst Googlebot aber nicht, und eine Einstellung für die Crawling-Frequenz hat die Search Console nicht mehr.

Was steht in der Standard-robots.txt von WordPress?

Drei Zeilen und, auf einer öffentlichen Website, eine Sitemap-Zeile: User-agent: *, ein Disallow für /wp-admin/, ein Allow für /wp-admin/admin-ajax.php und seit WordPress 5.5 eine Sitemap-Zeile für /wp-sitemap.xml. Genau das schreibt die WordPress-eigene Funktion do_robots(). Das längere Allow setzt sich gegen das Disallow durch, deshalb bleibt admin-ajax.php crawlbar. Wählen Sie die Vorlage WordPress, um mit genau dieser Datei zu beginnen.

Wie teste ich meine robots.txt-Datei?

Bevor die Datei online geht, nutzen Sie auf dieser Seite Vor dem Veröffentlichen testen: Wählen Sie einen Crawler und einen Pfad und sehen Sie, ob er erlaubt oder gesperrt ist, welche Regel mit welcher Zeile entschieden hat und welche Gruppe der Crawler gelesen hat. Nach dem Hochladen prüfen Sie Ihre Live-Website mit dem Robots.txt Checker. Er ruft die echte Datei ab und sagt Ihnen deshalb auch, was der Statuscode des Servers für jeden Crawler bedeutet.

Warum funktioniert meine Allow-Regel nicht?

Meist, weil ein längeres Disallow auf dieselbe URL passt: Der längste Pfad gewinnt, egal welcher Art die Regel ist, und ein Allow gewinnt nur bei Gleichstand. Oder der Crawler hat eine eigene Gruppe und liest deshalb nie die *-Gruppe, in der Ihr Allow steht. Der Editor oben markiert eine Regel, gegen die sich immer eine andere durchsetzt, und Vor dem Veröffentlichen testen nennt die entscheidende Regel und die Gruppe, die der Crawler gelesen hat.

Ist dieser Robots.txt Generator auf Deutsch kostenlos, und lädt er meine Datei hoch?

Er ist kostenlos, ohne Anmeldung und ohne Tageslimit. Alles geschieht in Ihrem Browser: Die Datei wird auf dieser Seite geschrieben, geparst und geprüft, und nichts, was Sie eingeben, wird irgendwohin gesendet. Die einzigen Links nach außen sind die Quellen der Vorlagen und der Robots.txt Checker, der Ihre Live-Datei nur dann von unserem Server abruft, wenn Sie ihn öffnen und eine Prüfung starten.

Fehlt Ihnen etwas?Funktion oder neues Tool vorschlagen

Weitere Tools zum Crawlen und Indexieren