robots.txt: Crawler richtig steuern
Was ist die robots.txt? Erfahre, wie Disallow und Allow funktionieren, warum Crawling nicht Indexierung ist und wie du KI-Crawler steuerst.
Anteil der Google-Suchen, nach denen ein klassisches Suchergebnis angeklickt wurde:
Klicks: Pew Research Center, Browsing-Daten von 900 US-Erwachsenen, März 2025. Nutzerzahlen: Google I/O, Mai 2026; OpenAI, Februar 2026. Pew Research
Inhaltsverzeichnis
Was ist die robots.txt?
Die robots.txt ist eine einfache Textdatei im Hauptverzeichnis einer Website. Sie legt fest, welche Bereiche Crawler von Suchmaschinen und KI-Diensten abrufen dürfen und welche nicht. Seriöse Crawler lesen die Datei, bevor sie eine Website durchsuchen.
Das zugrunde liegende Robots Exclusion Protocol gibt es seit 1994. Seit September 2022 ist es als RFC 9309 offiziell standardisiert.
robots.txt kurz erklärt:
– Sie liegt immer unter domain.de/robots.txt.
– Sie steuert das Crawling, nicht die Indexierung.
– Gesperrte Seiten können trotzdem im Index landen.
– Sie regelt auch den Zugriff von KI-Crawlern.
– Google liest maximal 500 KiB der Datei.
Aufbau einer robots.txt
User-agent: *
Disallow: /intern/
Disallow: /warenkorb/
Allow: /intern/presse/
User-agent: GPTBot
Disallow: /
Sitemap: https://www.beispiel.de/sitemap.xml- User-agent: für welchen Crawler die Regeln gelten,
*steht für alle. - Disallow: Pfade, die nicht abgerufen werden sollen.
- Allow: Ausnahmen innerhalb gesperrter Bereiche.
- Sitemap: Verweis auf die XML-Sitemap.
Crawling ist nicht Indexierung
Der häufigste Irrtum: Eine per robots.txt gesperrte Seite kann trotzdem in den Suchergebnissen erscheinen, wenn andere Seiten auf sie verlinken. Google zeigt dann nur die URL ohne Beschreibung.
Wer eine Seite aus dem Index entfernen will, nutzt das Meta-Tag noindex und lässt das Crawling zu. Nur so kann Google die Anweisung überhaupt lesen. Eine noindex-Regel direkt in der robots.txt unterstützt Google seit 2019 nicht mehr.
robots.txt und KI-Crawler
Über die robots.txt lässt sich auch steuern, ob KI-Dienste Inhalte nutzen dürfen. Dabei lohnt eine Unterscheidung:
| Crawler | Sperren bedeutet |
|---|---|
| GPTBot, Google-Extended | keine Nutzung fürs Training, Sichtbarkeit in der Suche bleibt |
| OAI-SearchBot, PerplexityBot | keine Nennung als Quelle in ChatGPT Search bzw. Perplexity |
| Googlebot | keine Sichtbarkeit in der Google-Suche und in AI Overviews |
Eine vollständige Übersicht gibt es unter KI-Crawler.
Typische Fehler
Disallow: /aus der Entwicklungsphase bleibt nach dem Livegang stehen.- CSS- oder JavaScript-Dateien werden gesperrt, Google kann die Seite nicht richtig darstellen.
- Groß- und Kleinschreibung wird nicht beachtet: Pfade sind case-sensitiv.
- Vertrauliche Bereiche werden „versteckt“: Die robots.txt ist öffentlich lesbar und kein Zugriffsschutz.
Ob die Datei richtig gelesen wird, zeigt der robots.txt-Bericht in der Google Search Console.
Ist Ihre robots.txt richtig eingestellt?
Wir prüfen Crawling, Indexierung und den Zugriff von KI-Crawlern auf Ihre Website.
Kostenlose Erstanalyse anfordernUnsere Leistungen
Vom Wissen zur Umsetzung:
Autor: Oliver Godolt
Mit über 20 Jahren Erfahrung in der Digitalbranche, davon knapp 10 Jahre mit Fokus auf Kanzleimarketing und die Sichtbarkeit von Rechtsanwälten. Er ist spezialisiert auf nachhaltige SEO-Optimierung, hocheffiziente Leadgenerierung und die Digitalisierung juristischer Geschäftsmodelle.
