Websites & SEO

robots.txt

Allgemeine Infos

Die robots.txt liegt im Stammverzeichnis eines Hosts (etwa https://www.example.de/robots.txt) und enthält Regeln für Crawler: Mit User-agent wählst Du den Bot, mit Disallow und Allow sperrst oder erlaubst Du Pfade, mit Sitemap verweist Du auf XML-Sitemaps. Seit September 2022 ist das Robots Exclusion Protocol als RFC 9309 bei der IETF standardisiert.

Wichtig ist die Grenze: Die robots.txt steuert, ob ein Crawler eine URL abruft, nicht ob sie im Index landet. Gesperrte URLs können ohne Beschreibung in den Suchergebnissen erscheinen, wenn andere Seiten darauf verlinken. Um eine Seite aus dem Index zu halten, brauchst Du noindex (und die Seite muss dafür crawlbar bleiben) oder einen Passwortschutz. RFC 9309 stellt außerdem klar, dass die Regeln keine Zugriffsberechtigung sind: Seriöse Crawler halten sich daran, Angreifer nicht.

Neben Suchmaschinen beachten auch viele KI-Crawler die robots.txt; Anbieter wie Google und OpenAI dokumentieren eigene User-Agent-Namen, über die Du das Training oder die Nutzung von Inhalten steuern kannst. Welche Bots welche Token respektieren, legt jeder Anbieter selbst fest.

Funktionsweise & Details

Aufbau und Verarbeitung:

  1. Der Crawler ruft vor dem Crawlen /robots.txt des jeweiligen Hosts und Protokolls ab; jede Subdomain braucht eine eigene Datei.
  2. Er sucht die Gruppe mit dem passendsten User-agent, sonst die Gruppe User-agent: *.
  3. Bei konkurrierenden Allow- und Disallow-Regeln gilt die spezifischste, also längste passende Regel.
  4. Laut RFC 9309 müssen Crawler mindestens 500 KiB der Datei verarbeiten und sollen eine zwischengespeicherte Version nicht länger als 24 Stunden nutzen, außer die Datei ist nicht erreichbar.
  5. Antwortet der Server mit einem 4xx-Statuscode, gilt das Crawling als uneingeschränkt erlaubt; bei 5xx-Fehlern gehen Crawler vorsichtig von einer Sperre aus.

Vorteile & Nutzen

  • Entlastet den Server, weil Crawler unwichtige Bereiche wie interne Suchergebnisse oder Filterkombinationen auslassen.
  • Lenkt das Crawling auf die relevanten Inhalte großer Websites.
  • Zentraler Ort für den Verweis auf XML-Sitemaps.
  • Ermöglicht eine gezielte Steuerung einzelner Bots, etwa von KI-Crawlern, über deren dokumentierte User-Agent-Namen.

Praxisbeispiel

Ein Onlineshop für Fahrradteile mit 25 Beschäftigten bemerkt hohe Serverlast durch Crawler, die Millionen Filterkombinationen abrufen. Die IT sperrt die Filterparameter per Disallow, lässt Kategorien, Produkte, CSS und JavaScript erreichbar und ergänzt den Sitemap-Verweis. Zusätzlich erhalten die Filterseiten Canonicals auf die Kategorie. Die Crawlerlast sinkt, und Google crawlt neue Produkte schneller.

Worauf sollte man achten?

  • Ein einzelnes „Disallow: /“ aus der Staging-Umgebung kann nach dem Livegang die ganze Website aus dem Crawling nehmen; prüfe die Datei nach jedem Deployment.
  • Keine sensiblen Pfade in die robots.txt schreiben, sie ist öffentlich lesbar und zeigt Angreifern, wo es interessant wird.
  • CSS- und JavaScript-Dateien nicht sperren, sonst kann Google die Seite nicht korrekt rendern.
  • Seiten, die aus dem Index sollen, nicht per robots.txt sperren, sondern mit noindex versehen und crawlbar lassen.

Fazit

Die robots.txt ist ein Werkzeug zur Crawlsteuerung, kein Schutz und kein Indexierungsschalter. Halte sie kurz, prüfe sie nach jedem Deployment und nutze für Indexierung noindex und für Vertraulichkeit echte Zugriffskontrollen.

Weiterführende Links

Verwandte Artikel