Kurz gesagt: Musst du GPTBot, ClaudeBot & Co. in der robots.txt blockieren?
Nein, nicht zwingend – die Antwort hängt von der Crawler-Klasse ab. Trainings-Crawler wie GPTBot, ClaudeBot, Google-Extended und CCBot sammeln Rohdaten für künftige Modell-Generationen; sie zu blockieren hat keinen Effekt auf deine Sichtbarkeit in KI-Antworten. Retrieval-Crawler wie OAI-SearchBot, PerplexityBot, Bingbot und Applebot holen dagegen Inhalte für Live-Zitate ab – blockierst du sie, verschwindest du aus genau diesen Antworten. Eine default-offene robots.txt reicht für Zitierbarkeit in aller Regel bereits aus.
Warum es zwei völlig getrennte Crawler-Klassen gibt
OpenAI, Perplexity, Google, Anthropic und Apple betreiben jeweils getrennte Bots für Modell-Training und Live-Abruf – mit eigenen User-Agent-Namen und eigenen robots.txt-Regeln. Das ist keine Marketing-Unterscheidung, sondern steht wörtlich in den Betreiber-Dokumentationen selbst. OpenAI beschreibt seinen Such-Bot OAI-SearchBot als Werkzeug, um Websites "in ChatGPT's search features" auffindbar zu machen, während GPTBot separat und ausschließlich zum Training der generativen KI-Modelle dient. Wer GPTBot blockiert, bleibt in ChatGPT-Suchergebnissen zitierbar, solange OAI-SearchBot erlaubt bleibt.
Trainings-Crawler: Rohdaten für Modelle, kein Effekt auf Zitate
Vier Bots gehören eindeutig in diese Klasse. GPTBot (OpenAI) und ClaudeBot (Anthropic) sammeln laut Betreiber-Doku Trainingsdaten für künftige Modell-Generationen. Google-Extended steuert laut Google ausschließlich, ob Inhalte in Trainings- und Grounding-Daten künftiger Gemini-Modelle einfließen – das Blockieren "does not impact a site's inclusion in Google Search". CCBot (Common Crawl) speist als offener Rohdaten-Fundus zahlreiche Trainingsdatensätze Dritter; auch hier respektiert der Bot laut Betreiber robots.txt-Regeln.
Retrieval-Crawler: Hier entscheidet sich, ob du zitiert wirst
Fünf Bots holen Inhalte für Live-Antworten und Suchfunktionen ab. OAI-SearchBot versorgt die ChatGPT-Suche, PerplexityBot die Perplexity-Antworten – Perplexity beschreibt ihn wörtlich als Bot, der Seiten "surface and link... in search results on Perplexity. It is not used to crawl content for AI foundation models". Bingbot füttert nicht nur den Bing-Index selbst, sondern auch Copilot; laut mehreren übereinstimmenden Berichten (u. a. eine Aussage von OpenAIs VP of Engineering, "we use a set of services and Bing is an important one") stützt sich zudem ein erheblicher Teil der ChatGPT-Suchergebnisse auf den Bing-Index – ohne dass OpenAI dazu eine eigene, öffentlich zugängliche Bot-Doku-Seite führt. Applebot versorgt Siri, Spotlight und die Safari-Suche mit Daten (Apple Support: About Applebot). Blockierst du einen dieser fünf, verschwindest du aus genau der Antwortfläche, die er versorgt.
Vergleichstabelle: Crawler, Typ und Blocken-Empfehlung
| Crawler (User-Agent) | Betreiber | Typ | Blockieren sinnvoll? |
|---|---|---|---|
| GPTBot | OpenAI | Training | Ja – kein Effekt auf ChatGPT-Zitate |
| OAI-SearchBot | OpenAI | Live-Retrieval | Nein – killt ChatGPT-Suchsichtbarkeit |
| ClaudeBot | Anthropic | Training | Ja – kein Effekt auf Claude-Zitate |
| Claude-SearchBot | Anthropic | Live-Retrieval | Nein – killt Claude-Suchsichtbarkeit |
| PerplexityBot | Perplexity | Live-Retrieval | Nein – killt Perplexity-Zitate |
| Google-Extended | Training (Gemini) | Ja – kein Effekt auf Google Search/AI Overviews | |
| Googlebot | Live-Index | Nein – killt Google Search & AI Overviews komplett | |
| Bingbot | Microsoft | Live-Index | Nein – killt Bing, Copilot & (berichtet) Teile der ChatGPT-Suche |
| Applebot-Extended | Apple | Training | Ja – kein Effekt auf Siri/Spotlight-Suche |
| Applebot | Apple | Live-Retrieval | Nein – killt Siri/Spotlight/Safari-Sichtbarkeit |
| CCBot | Common Crawl | Trainings-Fundus | Ja – kein direkter Effekt auf KI-Antworten |
Robots.txt-Beispiel: Training blocken, Retrieval erlauben
Die folgende Konfiguration blockiert gezielt die Trainings-Bots und lässt alle Retrieval-/Suchcrawler unangetastet – für Websites, die KI-Modell-Training ausschließen, aber in KI-Antworten zitierfähig bleiben wollen. Technisch reicht dafür bereits Allow: / unter User-agent: *; die Retrieval-Bots sind hier nur zur ausdrücklichen Dokumentation der Absicht einzeln aufgeführt:
User-agent: *
Allow: /
# --- KI-Retrieval/Suche: noetig fuer Zitate in Live-Antworten ---
# Kein Disallow noetig - Default-Allow oben deckt sie bereits ab.
# Hier nur zur Dokumentation der Absicht einzeln aufgefuehrt:
User-agent: Googlebot
Allow: /
User-agent: Bingbot
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: Applebot
Allow: /
# --- KI-Training: optional blockierbar, ohne Effekt auf KI-Zitate ---
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: CCBot
Disallow: /
Sitemap: https://deine-domain.de/sitemap.xmlWichtig: Googlebot, Bingbot, OAI-SearchBot, PerplexityBot, Claude-SearchBot und Applebot dürfen nicht blockiert werden, wenn Zitierbarkeit erhalten bleiben soll. Achte außerdem darauf, dass keine pauschale "Block AI bots"-Einstellung in Cloudflare oder einer anderen WAF diese sechs Retrieval-Crawler versehentlich mit aussperrt.
Die Abwägung: Training blockieren vs. zitierfähig bleiben
Der Trade-off ist einfach, sobald die Bot-Klassen klar sind: Blockierst du GPTBot, ClaudeBot, Google-Extended oder CCBot, schützt du deine Inhalte vor der Verwendung in künftigen Modell-Trainingsläufen – ohne einen einzigen Zitat-Verlust in ChatGPT, Claude, Gemini oder anderswo zu riskieren, weil diese Antworten über die separaten Retrieval-Bots laufen. Willst du dagegen maximale Reichweite über möglichst viele Trainingskorpora, lässt du auch die Trainings-Bots offen – ein Effekt auf die KI-Antwort-Sichtbarkeit hat das nicht, kostet dich aber auch nichts.
Zwei Einschränkungen relativieren den Effekt eines Trainings-Blocks. Erstens gilt robots.txt nur für autonome Crawler – nutzerausgelöste Abrufe wie ChatGPT-User oder Perplexitys Pendant ignorieren robots.txt üblicherweise, weil eine konkrete Nutzerin oder ein konkreter Nutzer den Abruf angefordert hat und nicht der Crawler selbstständig unterwegs ist (Perplexity-Dokumentation). Zweitens entfernt ein nachträgliches Disallow keine bereits gecrawlten und in älteren Trainingsdatensätzen verbauten Inhalte – bereits veröffentlichte Common-Crawl-Archive etwa bleiben bestehen, auch wenn CCBot künftig ausgesperrt wird.
Reicht eine robots.txt ohne KI-Sonderregeln überhaupt aus?
Ja, in den meisten Fällen. Alle hier genannten Crawler sind laut Betreiber-Dokumentation "opt-out" konzipiert: Eine Website ohne jede robots.txt-Regel ist für sämtliche AI-Crawler vollständig zugänglich, Training wie Retrieval. Willst du bewusst nichts an deiner Crawler-Konfiguration ändern, bleibt deine Zitierfähigkeit unangetastet – das eigentliche Risiko liegt in versehentlichen Blockaden, etwa über pauschale "Block AI bots"-Schalter in CDN- oder WAF-Tools, die auch Retrieval-Crawler ungewollt mit aussperren.
Ob eine Anpassung deiner robots.txt tatsächlich etwas an deiner KI-Sichtbarkeit ändert, lässt sich dabei nicht raten, sondern nur messen: Mit dem KI-Sichtbarkeits-Tracking von rankion siehst du vorher und nachher, ob ChatGPT, Perplexity, Gemini & Co. deine Inhalte weiterhin zitieren.
Häufige Fragen zu robots.txt und AI-Crawlern
Verliere ich KI-Sichtbarkeit, wenn ich GPTBot blockiere?
Nein. GPTBot ist laut OpenAI ausschließlich für Modell-Training zuständig; die ChatGPT-Suchsichtbarkeit hängt am separaten OAI-SearchBot. Solange dieser erlaubt bleibt, ändert ein Disallow für GPTBot nichts an deiner Zitierbarkeit in ChatGPT-Suchantworten.
Ist Google-Extended dasselbe wie Googlebot?
Nein. Google-Extended ist ein reiner Trainings-/Grounding-Token für künftige Gemini-Modelle; Googlebot ist der eigenständige Index-Crawler, von dem Google Search, Google Discover und Google AI Overviews abhängen. Beide werden unabhängig voneinander per robots.txt gesteuert.
Ignorieren KI-Crawler robots.txt einfach?
Die hier genannten autonomen Crawler – GPTBot, OAI-SearchBot, PerplexityBot, ClaudeBot, Claude-SearchBot, Googlebot, Bingbot, Applebot und CCBot – respektieren robots.txt laut ihrer jeweiligen Betreiber-Dokumentation. Ausnahme sind nutzerausgelöste Abrufe wie ChatGPT-User: Diese ignorieren robots.txt in der Regel, weil eine konkrete Nutzerin oder ein konkreter Nutzer den Abruf angefordert hat.
Brauche ich zusätzlich eine llms.txt-Datei?
Nein. Google stellt dazu ausdrücklich klar: "Google Search itself doesn't use them" – das Anlegen einer llms.txt hat laut Google weder positiven noch negativen Effekt auf die Sichtbarkeit in der generativen Suche. Für die hier besprochenen Retrieval-Crawler von OpenAI, Perplexity, Anthropic und Apple existiert ebenfalls keine offizielle Aussage, die eine llms.txt als notwendig beschreibt.
Was, wenn ich gar nichts an meiner robots.txt ändere?
Dann bleibt deine Website für alle genannten Crawler zugänglich – Training und Retrieval eingeschlossen. Das ist der Standardfall und technisch unproblematisch für die KI-Zitierbarkeit. Die einzige Vorsicht gilt pauschalen Blockier-Schaltern in CDN- oder WAF-Tools, die versehentlich auch Retrieval-Bots mit aussperren können.
Quellen
- OpenAI: Bots von OpenAI (GPTBot, OAI-SearchBot, ChatGPT-User, OAI-AdsBot) (abgerufen Juli 2026)
- Perplexity: Crawlers & User-Agents (PerplexityBot, Perplexity-User) (abgerufen Juli 2026)
- Google: Übersicht der Google-Crawler (Googlebot, Google-Extended) (abgerufen Juli 2026)
- Google: AI-Optimierungsleitfaden (Stellungnahme zu llms.txt) (abgerufen Juli 2026)
- Apple Support: About Applebot (Applebot, Applebot-Extended) (abgerufen Juli 2026)
- Anthropic: ClaudeBot, Claude-User & Claude-SearchBot (abgerufen Juli 2026)
- Common Crawl: CCBot (abgerufen Juli 2026)
- Bing Webmaster Blog: AI Performance – robots.txt-Respekt & Content-Guidance für KI-Grounding (Februar 2026)
