KI-Crawler: GPTBot, OAI-SearchBot & Co. in der robots.txt
Welche KI-Crawler gibt es und wie steuert man sie? Überblick über GPTBot, OAI-SearchBot, PerplexityBot, ClaudeBot und Google-Extended mit Beispielen für die robots.txt.
Anteil der Google-Suchen, nach denen ein klassisches Suchergebnis angeklickt wurde:
Klicks: Pew Research Center, Browsing-Daten von 900 US-Erwachsenen, März 2025. Nutzerzahlen: Google I/O, Mai 2026; OpenAI, Februar 2026. Pew Research
Inhaltsverzeichnis
Was sind KI-Crawler?
KI-Crawler sind automatisierte Programme von KI-Anbietern, die Webseiten abrufen. Je nach Crawler dienen die Inhalte dem Training von Sprachmodellen, dem Aufbau eines Suchindex für KI-Suchen oder dem Abruf einer Seite in dem Moment, in dem ein Nutzer danach fragt.
Diese Unterscheidung ist wichtig: Wer alle KI-Crawler pauschal sperrt, schließt sich womöglich auch aus KI-Suchen wie ChatGPT Search oder Perplexity aus.
KI-Crawler kurz erklärt:
– Es gibt Crawler für Training, für Suche und für Nutzeranfragen.
– Die meisten lassen sich einzeln per robots.txt steuern.
– Wer in KI-Suchen erscheinen will, sollte die Such-Crawler erlauben.
– Google AI Overviews nutzen den normalen Googlebot.
Welche KI-Crawler gibt es?
| User-Agent | Anbieter | Zweck |
|---|---|---|
| OAI-SearchBot | OpenAI | Suchindex für ChatGPT Search |
| GPTBot | OpenAI | Inhalte für das Training von Modellen |
| ChatGPT-User | OpenAI | Abruf einer Seite auf Anfrage eines Nutzers |
| Google-Extended | Kein eigener Crawler, sondern ein Steuerungs-Token für die Nutzung in Gemini-Modellen | |
| PerplexityBot | Perplexity | Suchindex für Perplexity |
| ClaudeBot | Anthropic | Inhalte für das Training von Modellen |
| Applebot-Extended | Apple | Steuerungs-Token für die Nutzung in Apples KI-Modellen |
| CCBot | Common Crawl | Offener Webkorpus, der oft für KI-Training genutzt wird |
Die Liste ist nicht vollständig und ändert sich regelmäßig. Maßgeblich sind die Dokumentationen der Anbieter.
Was ist mit Google AI Overviews und dem AI Mode?
Für AI Overviews und den Google AI Mode gibt es keinen eigenen Crawler. Google nutzt dafür den normalen Googlebot und den Suchindex. Das Token Google-Extended steuert dagegen nur, ob Inhalte für Gemini-Modelle verwendet werden dürfen – es hat laut Google keinen Einfluss auf Rankings oder die Aufnahme in die Google Suche.
Wie steuert man KI-Crawler in der robots.txt?
Jeder Crawler kann einzeln erlaubt oder gesperrt werden. Ein Beispiel: Sichtbarkeit in ChatGPT Search ja, Nutzung für das Modelltraining nein.
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: PerplexityBot
Allow: /Änderungen an der robots.txt wirken nicht sofort. OpenAI nennt für den OAI-SearchBot zum Beispiel etwa 24 Stunden, bis neue Regeln greifen.
Sollte man KI-Crawler sperren?
Das hängt vom Geschäftsmodell ab. Für die meisten Unternehmen, Dienstleister und Kanzleien gilt: Such-Crawler erlauben, damit die eigene Marke in KI-Antworten genannt und verlinkt werden kann. Ob man das Training von Modellen zulässt, ist eine bewusste Entscheidung – vor allem für Verlage und Anbieter exklusiver Inhalte.
Prüfe außerdem, ob eine Firewall oder ein CDN KI-Crawler automatisch blockiert. Das passiert häufiger als gedacht und lässt sich in den Server-Logs erkennen. Mehr zur technischen Basis unter Technisches SEO.
Können KI-Suchen Ihre Website lesen?
Wir prüfen robots.txt, Server-Logs und Firewall-Regeln und zeigen, welche KI-Crawler Ihre Website erreichen.
Technik-Check anfragenUnsere Leistungen
Vom Wissen zur Umsetzung:
Autor: Oliver Godolt
Mit über 20 Jahren Erfahrung in der Digitalbranche, davon knapp 10 Jahre mit Fokus auf Kanzleimarketing und die Sichtbarkeit von Rechtsanwälten. Er ist spezialisiert auf nachhaltige SEO-Optimierung, hocheffiziente Leadgenerierung und die Digitalisierung juristischer Geschäftsmodelle.
