Websites & SEO

robots.txt

Crawler-Anweisungen fuer erlaubte und gesperrte Bereiche.

Allgemeine Infos

Die robots.txt-Datei im Root-Verzeichnis einer Website gibt Suchmaschinen-Crawlern Hinweise, welche Verzeichnisse oder Dateien sie crawlen duerfen oder meiden sollen (Disallow). Sie ist kein Sicherheitsmechanismus (URLs bleiben erreichbar), sondern steuert das Crawl-Budget. Fehlkonfigurationen koennen die gesamte Indexierung blockieren.

Kurzbeschreibung

Crawler-Anweisungen fuer erlaubte und gesperrte Bereiche.

Lizenz & Verfügbarkeit

Kostenlos; manuelle Erstellung oder CMS-generiert.

Weiterführende Links

Verwandte Artikel