Was Ist eine Robots.txt-Datei?
Eine robots.txt-Datei ist eine Textdatei im Stammverzeichnis Ihrer Website (z.B. example.com/robots.txt), die Suchmaschinen-Crawlern und Bots mitteilt, welche Seiten oder Bereiche Ihrer Website sie besuchen dürfen und welche nicht. Sie folgt dem Robots-Exclusion-Standard. Obwohl sie beratend (nicht erzwingbar) ist, respektieren alle großen Suchmaschinen wie Google und Bing die robots.txt-Anweisungen.
Unser Robots.txt-Generator bietet einen visuellen Editor mit Voreinstellungen, um robots.txt-Dateien schnell und korrekt zu erstellen. Nutzen Sie den Sitemap-Generator zum Erstellen einer XML-Sitemap und den HTTP-Header-Checker für Header-Analyse.
So Erstellen Sie Eine Robots.txt-Datei
In vier Schritten zur fertigen robots.txt-Datei.
Wählen Sie eine Voreinstellung: 'Alle erlauben' (Standard), 'Alle blockieren', 'Standard' oder 'KI-Bots blockieren'. Oder starten Sie von Grund auf.
Wählen Sie einen User-Agent und setzen Sie Allow- oder Disallow-Direktiven für bestimmte Pfade.
Optional: Sitemap-URL und Crawl-Delay-Wert hinzufügen.
Klicken Sie auf 'Herunterladen' und laden Sie die robots.txt in das Stammverzeichnis Ihrer Website hoch.
KI-Bots Mit Robots.txt Blockieren
Um KI-Crawler am Scrapen Ihrer Inhalte zu hindern, fügen Sie spezifische User-Agent- und Disallow-Regeln hinzu: User-agent: GPTBot / Disallow: / blockiert OpenAIs Crawler, User-agent: ClaudeBot / Disallow: / blockiert Anthropics Crawler und User-agent: Google-Extended / Disallow: / blockiert Googles KI-Trainings-Crawler.
Unser Generator hat eine 'KI-Bots blockieren'-Voreinstellung, die alle wichtigen KI-Bot-Regeln mit einem Klick hinzufügt. Nutzen Sie den CMS-Detektor um die Technologie einer Website zu prüfen.
Robots.txt-Direktiven-Referenz
Die wichtigsten robots.txt-Direktiven im Überblick.
Gibt an welcher Crawler angesprochen wird (* für alle)
Blockiert den Zugriff auf einen bestimmten Pfad
Erlaubt explizit den Zugriff, überschreibt Disallow
Verweist auf die XML-Sitemap-URL
Robots.txt Best Practices
Platzierung: Die robots.txt muss im Stammverzeichnis liegen (https://ihredomain.de/robots.txt). Jede Subdomain benötigt eine eigene Datei. Sitemap: Immer eine Sitemap-Direktive einfügen (Sitemap: https://ihredomain.de/sitemap.xml). Testen: Nutzen Sie die Google Search Console zum Testen Ihrer robots.txt-Regeln.
Kein Sicherheitsmechanismus: Robots.txt ist eine höfliche Bitte, keine Zugangskontrolle. Für echten Zugangsschutz verwenden Sie .htaccess-Regeln, Authentifizierung oder Firewalls. Nutzen Sie den SSL-Checker für die Sicherheitsanalyse Ihrer Website.
Verwandte SEO-Tools
Weitere SEO-Tools von DNS Robot.