robots.txt und KI: GPTBot zu sperren sperrt ChatGPT nicht

Als OpenAI 2023 den Namen seines Trainings-Bots veröffentlichte, fügten Tausende Websites zwei Zeilen in ihre robots.txt ein: User-agent: GPTBot und dann Disallow: /. Viele glauben seither, ChatGPT könne ihre Seiten nicht mehr lesen. Das stimmt nicht, und die Verwirrung geht auf einen Sachverhalt zurück, den die KI-Anbieter durchaus klar dokumentieren: Sie schicken nicht einen Bot, sondern mehrere, jeden mit eigener Rolle und eigenem Token. Den einen zu sperren sperrt die anderen nicht.

Mehrere Bots, mehrere Rollen, bei jedem Anbieter

Bei OpenAI, laut seiner Bot-Dokumentation:

• GPTBot sammelt Seiten, die dem Training der Modelle dienen können. Nur seine Sperrung schützt vor der Nutzung im Training.
• OAI-SearchBot speist den Index der in ChatGPT integrierten Suche. Ihn zu sperren nimmt Ihre Seiten aus den Suchergebnissen von ChatGPT und damit aus den Zitierungen, die daraus folgen.
• ChatGPT-User ruft eine bestimmte Seite ab, wenn ein Nutzer das in einem Gespräch verlangt, indem er zum Beispiel eine URL einfügt oder eine Frage stellt, die einen Abruf auslöst. Er durchsucht das Web nicht selbstständig.

Anthropic wendet dieselbe Trennung an, beschrieben in seiner Hilfeseite zu den Bots: ClaudeBot für das Training, Claude-SearchBot für den Suchindex, Claude-User für die von einem Nutzer verlangten Abrufe. Perplexity dokumentiert PerplexityBot (Index) und Perplexity-User (Abruf auf Anfrage) in seiner Crawler-Dokumentation.

Google und Apple: ein Steuerungs-Token getrennt vom Bot

Google arbeitet anders. Googlebot bleibt der einzige Bot, der die Seiten für die Suche crawlt, und dieselben Seiten speisen die AI Overviews. Die Steuerung der Nutzung im Training läuft über ein eigenes Token, Google-Extended, das kein Bot ist, sondern eine von Googlebot gelesene Direktive, wie die Liste der gängigen Google-Crawler erklärt. Google stellt klar, dass dieses Token nichts an der Indexierung der Seiten ändert. Apple verfährt ebenso mit Applebot-Extended, einem Token, das in seinem Support-Artikel zu Applebot dokumentiert ist und die Nutzung im Training steuert, ohne Applebot selbst anzutasten.

Dieser Liste ist CCBot hinzuzufügen, der Bot von Common Crawl, dessen offene Archive vielen Modellen als Rohstoff gedient haben. CCBot zu sperren ist der breiteste Hebel gegen das Training durch Akteure, die keinen eigenen Bot betreiben.

Die Token-Tabelle und was jede Sperre nach sich zieht

Was robots.txt kann und was nicht

Das Protokoll ist heute durch die RFC 9309 normiert. Drei ihrer Regeln erklären die meisten Überraschungen:

1. Die Datei wird nur an der Wurzel des Hosts gelesen. Es ist der Host und nicht die Domain: Eine robots.txt auf beispiel.de gilt nicht für blog.beispiel.de, das ein eigener Host ist. Eine robots.txt in einem Unterverzeichnis, zum Beispiel unter einem anderswo gehosteten Pfad /blog/, wird nie abgerufen. Die Direktiven darin, einschließlich der Sitemap-Angaben, sind für alle Bots unsichtbar. Bei einem Medium, das im Unterpfad einer Hauptwebsite läuft, gilt die robots.txt der Hauptwebsite.
2. Die spezifischste Gruppe gewinnt, und sie ersetzt die generische Gruppe. Eine Gruppe User-agent: GPTBot, die nur Disallow: / enthält, erbt die Regeln der Gruppe User-agent: * nicht. Hatte die generische Gruppe Facetten oder Dateien untersagt, hat der benannte Bot wieder Zugriff darauf. Das ist ein verbreiteter Fehler, wenn man über die Monate Gruppen je Bot aufeinanderstapelt.
3. Die Datei ist eine Anweisung, keine Sperre. Die hier genannten Anbieter erklären, sie zu befolgen. Ein Akteur, der seinen Namen nicht nennt, entgeht jeder namentlichen Regel. Wer wirklich sperren will, muss auf Server- oder Firewall-Ebene eingreifen, mit den Nebenwirkungen, die wir im Artikel über den blinden Fleck der Blockaden am Edge beschreiben.

Welche Linie wählen

Die Entscheidung ist redaktionell, bevor sie technisch wird. Drei Positionen sind vertretbar:

• Alles öffnen. Die Website akzeptiert Training und Zitierung. Das ist die Standardposition eines Mediums, das Sichtbarkeit sucht, auch in den Modellen selbst.
• Das Training ablehnen, die Zitierung annehmen. Man sperrt GPTBot, ClaudeBot und CCBot und untersagt Google-Extended und Applebot-Extended, lässt aber OAI-SearchBot, Claude-SearchBot, PerplexityBot und die „User“-Bots durch. Das ist die Position eines Herausgebers, der zitiert werden will, ohne die Modelle unentgeltlich zu füttern.
• Alles schließen. Die Website verzichtet auf Sichtbarkeit in den KI-Diensten. Für ein Intranet oder für kostenpflichtige Inhalte ist das vertretbar, für ein Medium, das auf einer SERP oder in einer erzeugten Antwort Gewicht haben will, nicht.

Die zweite Position ist bei Presseverlagen verbreitet und wird oft falsch umgesetzt: In der Praxis haben viele mit einem Handgriff alles untersagt, was „GPT“ oder „Claude“ enthielt, also auch die Such- und Abruf-Bots. Das Ergebnis ist eine Website, die in den erzeugten Antworten fehlt, ohne dass irgendjemand im Team das entschieden hätte.

Prüfen statt vermuten

Die Kontrolle besteht aus zwei Handgriffen. Zuerst die robots.txt so lesen, wie sie an der Wurzel ausgeliefert wird, Token für Token, mit der obigen Tabelle vor Augen. Dann die Server-Logs öffnen, um zu sehen, welche Bots tatsächlich kommen, in welcher Frequenz, und welche einen Code 403 oder 404 erhalten. Ein KI-Bot, der nie in den Logs auftaucht, ist nicht zwangsläufig abwesend: Er kann vorgelagert von einer Firewall gestoppt worden sein, bevor er den Server erreichte. Diese Prüfung wird Schritt für Schritt in „Ein Access-Log in 30 Minuten lesen“ beschrieben.

Für den Google-Teil liefert die Search Console einen robots.txt-Bericht, der die letzte von Googlebot gelesene Fassung zeigt, ihr Abrufdatum und etwaige Analysefehler; die Einführung von Google zu robots.txt beschreibt die Anwendung. Für die anderen Anbieter gibt es kein Gegenstück: Maßgeblich sind die Logs, und ein manueller Test mit dem User-Agent jedes Bots bleibt der sicherste Weg, um zu prüfen, was der Server wirklich antwortet.

Ein Medium, das zitiert werden will, kann sich nicht auf eine vor zwei Jahren geschriebene Datei verlassen. Die Token ändern sich, die Bots vermehren sich, und eine Zeile, die an einem Tag im Jahr 2023 vorsorglich hinzugefügt wurde, kann 2026 jede Präsenz in den KI-Antworten kosten.