Was macht ein Robots.txt Checker?
Robots.txt ist die Textdatei im Stammverzeichnis einer Website (https://example.com/robots.txt), die Crawlern mitteilt, welche URLs sie abrufen dürfen. Eine einzige falsche Zeile kann eine ganze Website vor Google verbergen oder KI-Crawler Seiten lesen lassen, die Sie eigentlich aussperren wollten.
Dieser Checker lädt die Datei so herunter, wie es ein Crawler tut, liest jede Regel mit Googles Abgleichlogik und zeigt Ihnen für jede URL und jeden Bot, ob sie erlaubt oder blockiert ist und welche Zeile das entschieden hat. Google hat seinen eigenen robots.txt-Tester im Dezember 2023 aus der Search Console entfernt. Hier können Sie Regeln also schnell vor und nach einer Änderung testen.
So testen Sie Ihre robots.txt
Geben Sie eine Domain wie example.com ein oder eine vollständige Seiten-URL, um diese Seite sofort zu testen. Der Checker ruft /robots.txt aus dem Stammverzeichnis der Website ab und folgt Weiterleitungen.
Eine 200-Antwort bedeutet, dass die Regeln gelten. Ein 404 bedeutet, dass Crawler alles abrufen dürfen. Bei einem Serverfehler stellt Google das Crawling der Website ein, bis die Datei wieder lädt.
Geben Sie einen Pfad wie /blog/post?id=1 ein und wählen Sie einen Crawler. Sie sehen, ob die URL erlaubt oder blockiert ist, dazu die genaue Regel und Zeilennummer, die gegriffen hat.
Wechseln Sie zu robots.txt einfügen, um einen Entwurf zu bearbeiten und das Ergebnis sofort zu sehen. Veröffentlichen Sie ihn dann und prüfen Sie die Live-Datei erneut.
Advertisement
Wie Crawler die robots.txt lesen
Google, Bing und die meisten seriösen Crawler folgen RFC 9309, dem Robots Exclusion Standard. Diese vier Regeln entscheiden fast jedes Ergebnis:
Ein Crawler befolgt nur die Gruppe mit dem spezifischsten User-agent, der zu seinem Namen passt. Hat Googlebot eine eigene Gruppe, ignoriert er die Gruppe User-agent: * vollständig.
Passen mehrere Regeln auf eine URL, gewinnt die mit dem längsten Pfad. Allow: /shop/sale/ schlägt Disallow: /shop/ für Seiten unter /shop/sale/.
Sind eine Allow- und eine Disallow-Regel gleich lang, wählt Google die weniger restriktive: Allow.
* steht für beliebige Zeichen und $ markiert das Ende der URL. Disallow: /*.pdf$ blockiert jede PDF-Datei, aber nicht /file.pdf?download=1.
Was der HTTP-Status der robots.txt bedeutet
Crawler reagieren auf den Statuscode, bevor sie auch nur eine Regel lesen. So geht Google mit jedem Fall um:
Die Datei wird gelesen und ihre Regeln werden befolgt. Google liest die ersten 500 KiB und ignoriert alles danach.
Google folgt mindestens fünf Weiterleitungen. Ist danach noch keine robots.txt erreicht, behandelt Google die Datei als nicht vorhanden.
Wird behandelt, als gäbe es keine robots.txt: Jede URL darf gecrawlt werden. Die Ausnahme ist 429 Too Many Requests.
Google behandelt die ganze Website als blockiert, solange der Fehler besteht. Nach 30 Tagen greift Google auf die zuletzt gespeicherte Kopie zurück oder nimmt, falls es keine gibt, an, dass keine Einschränkungen gelten.
Advertisement
KI-Crawler mit robots.txt blockieren
KI-Unternehmen verwenden getrennte Crawler-Namen für Modelltraining, KI-Suche und Abrufe auf Anfrage. Sie können also einen davon blockieren, ohne die anderen auszusperren. Blockieren Sie Google-Extended, werden Ihre Inhalte nicht für Gemini verwendet, die Google-Suche bleibt aber unberührt. Eine Sperre von Googlebot würde dagegen auch die Suche treffen.
Die Tabelle KI-Crawler im Checker zeigt auf einen Blick, welche der 13 KI-Bots Ihre robots.txt durchlässt. Um die wichtigsten Trainings-Crawler zu blockieren, fügen Sie Folgendes hinzu:
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: CCBot
User-agent: Applebot-Extended
Disallow: /Häufige Fehler in der robots.txt
Ein vergessenes `Disallow: /` von einer Staging-Website blockiert alles. Das ist der häufigste Grund, warum eine neue Website nie bei Google erscheint.
Seiten per robots.txt verstecken. Eine blockierte URL kann trotzdem über Links indexiert werden, nur ohne Beschreibung. Um eine Seite aus der Suche herauszuhalten, lassen Sie sie crawlen und setzen ein
noindex-Meta-Tag oder einenX-Robots-Tag-Header.`Noindex:`-Zeilen in der robots.txt. Google unterstützt sie seit September 2019 nicht mehr; sie werden ignoriert.
CSS und JavaScript blockieren. Google rendert Seiten wie ein Browser; blockierte Dateien können Ihre Seiten für Google fehlerhaft aussehen lassen.
Falsche Groß- und Kleinschreibung. Bei Direktivennamen spielt sie keine Rolle, bei Pfaden schon:
Disallow: /Admin/blockiert/admin/nicht.Eine Datei für alle Subdomains. Die robots.txt gilt nur für ihren eigenen Host und ihr Protokoll.
blog.example.combraucht eine eigene Datei.Crawl-delay für Google. Googlebot ignoriert diese Angabe, Bing beachtet sie.
Advertisement
Robots.txt-Beispiele
Kopieren Sie das passende Muster und fügen Sie dann Ihre vollständige Datei in den Checker ein, um sie zu testen:
User-agent: *
Disallow:User-agent: *
Disallow: /admin/
Allow: /admin/public/User-agent: *
Disallow: /*?
Disallow: /*.pdf$Sitemap: https://example.com/sitemap.xmlWeitere SEO- und Crawling-Tools
Erstellen und prüfen Sie den Rest Ihres Crawling-Setups: