Wie sehen AI-Crawler deine Website?
Der Check ruft eine Seite so ab wie die Bots von ChatGPT und Claude: mit ihrem User-Agent und ohne JavaScript. Du siehst, welche Bots die robots.txt zulässt, welche Abrufe die Firewall blockiert und welcher Text im HTML ankommt.
Welche Bots der Check prüft
OpenAI, Anthropic und Google trennen ihre Bots nach Zweck. Ein Bot sammelt Trainingsdaten, einer baut den Suchindex auf, einer ruft Seiten ab, wenn ein Nutzer im Chat danach fragt. Für die Sichtbarkeit in KI-Antworten sind die Such-Bots und die nutzergetriggerten Abrufe entscheidend. Wer per robots.txt nur das Training ausschließen will und dafür alle AI-Bots sperrt, nimmt die Seite auch aus ChatGPT Search.
| Bot | Anbieter | Zweck | robots.txt laut Anbieter |
|---|---|---|---|
GPTBot | OpenAI | Training der Modelle | hält sich an robots.txt |
OAI-SearchBot | OpenAI | Index für ChatGPT Search | hält sich an robots.txt, Änderungen wirken nach rund 24 Stunden |
ChatGPT-User | OpenAI | Abruf im Auftrag eines Nutzers | robots.txt gilt laut OpenAI nicht in jedem Fall |
ClaudeBot | Anthropic | Training der Modelle | hält sich an robots.txt und Crawl-delay |
Claude-SearchBot | Anthropic | Index für die Suche in Claude | hält sich an robots.txt |
Claude-User | Anthropic | Abruf im Auftrag eines Nutzers | hält sich an robots.txt |
Googlebot | Google-Suche, AI Overviews, AI Mode | hält sich an robots.txt | |
Google-Extended | Training und Grounding für Gemini | nur ein robots.txt-Token, kein eigener Crawler |
Quellen: Bot-Dokumentation von OpenAI, Hilfeartikel von Anthropic zu ClaudeBot, Google Search Central zu Google-Extended. Abgerufen am 02.10.2026.
robots.txt und Firewall sind zwei Ebenen
Die robots.txt sagt einem Crawler, was er abrufen darf. Ob er die Seite bekommt, entscheidet der Server.
CDNs und Firewalls bringen eigene Regeln für AI-Bots mit, die oft das Technik-Team aktiviert hat, um
Serverlast zu senken. Dann steht in der robots.txt Allow, und der Bot erhält trotzdem
HTTP 403.
Der Check wertet deshalb beides aus. Er liest die robots.txt nach RFC 9309 (die Gruppe mit dem
eigenen Token schlägt die Gruppe *, innerhalb der Gruppe gewinnt die längste passende Regel)
und ruft die Seite anschließend mit dem User-Agent jedes Bots ab. Weichen die beiden Ergebnisse
voneinander ab, weist das Ergebnis darauf hin.
Warum der Text ohne JavaScript zählt
OpenAI und Anthropic dokumentieren nicht, ob ihre Crawler JavaScript ausführen. Vercel und MERJ haben im Dezember 2024 die Zugriffe beider Anbieter ausgewertet und kein ausgeführtes JavaScript beobachtet: Die Bots laden Skriptdateien teilweise herunter, rendern die Seite aber nicht. Produktdaten, Preise oder Texte, die erst im Browser nachgeladen werden, sind für diese Abrufe nicht vorhanden.
Der Check zeigt das auf zwei Wegen. Die beiden Screenshots stellen die Seite ohne und mit JavaScript nebeneinander. Die Auswertung darunter zählt die Wörter im ausgelieferten HTML und prüft, ob Title, Description, H1 und strukturierte Daten dort schon stehen.
Was die Textblöcke zeigen
ChatGPT gibt eine abgerufene Seite nicht als Ganzes an das Modell. In der Oberfläche war im September 2026 zu beobachten, dass die Seite in reinen Text umgewandelt, in Blöcke von rund 170 Wörtern geschnitten und blockweise bewertet wird. In die Antwort gelangen ein bis drei Blöcke pro Quelle. OpenAI hat diesen Ablauf nicht dokumentiert, die Werte stammen aus Analysen der ChatGPT-Oberfläche und können sich ändern.
Für den Text heißt das: Ein Absatz muss ohne den Rest der Seite verständlich sein. Eine Aussage, die sich auf eine Tabelle weiter oben bezieht oder erst im dritten Absatz zum Punkt kommt, geht an der Schnittkante verloren. Der Check schneidet den Hauptinhalt deiner Seite in dieselbe Blockgröße, damit du das an deinem eigenen Text prüfen kannst.
Was der Check nicht sieht
Die Abrufe kommen aus einem Rechenzentrum von Cloudflare, nicht aus den IP-Bereichen von OpenAI oder Anthropic. Eine Firewall, die Bots über ihre IP verifiziert, kann den Check ablehnen und den echten Bot durchlassen. Googlebot wird aus diesem Grund nicht imitiert, für Google wertet der Check nur die robots.txt aus. Lehnt eine Seite schon den Abruf mit einem normalen Browser-User-Agent ab, lässt sich von außen nicht unterscheiden, welche Bots gesperrt sind. Sicherheit geben dann nur die Server-Logs.
Geprüft wird eine URL. Ob ein Finding für ein ganzes Template gilt, etwa für alle Produktseiten, zeigt erst der Vergleich mehrerer Seitentypen.
Häufige Fragen zum AI-Crawler-Check
Antworten zu Bots, robots.txt, Firewall-Sperren und den Grenzen des Checks.
Welche AI-Crawler prüft der Check?
Geprüft werden die Bots von OpenAI (GPTBot, OAI-SearchBot, ChatGPT-User), Anthropic (ClaudeBot, Claude-SearchBot, Claude-User) und Google (Googlebot, Google-Extended). Für die sechs Bots von OpenAI und Anthropic wird die Seite zusätzlich mit dem jeweiligen User-Agent abgerufen. Bei Google wird nur die robots.txt ausgewertet.
Warum zeigt der Check einen blockierten Abruf, obwohl meine robots.txt den Bot erlaubt?
Die robots.txt ist eine Bitte an den Crawler, die Firewall entscheidet über die Auslieferung. Viele CDNs und Firewalls haben eine pauschale Regel für AI-Bots, die unabhängig von der robots.txt greift. In dem Fall antwortet der Server dem Bot mit HTTP 403 oder einer Challenge-Seite, obwohl er laut robots.txt crawlen dürfte. Die Regel findest du in den Bot-Einstellungen deines CDN oder deiner Firewall.
Führen ChatGPT und Claude JavaScript aus?
OpenAI und Anthropic machen dazu in ihren Bot-Dokumentationen keine Angabe. Eine Messung von Vercel und MERJ aus dem Dezember 2024 hat bei den Crawlern beider Anbieter kein ausgeführtes JavaScript beobachtet. Inhalte, die erst im Browser entstehen, solltest du deshalb als nicht abrufbar behandeln. Google rendert JavaScript über die Infrastruktur des Googlebot.
Was bedeutet Google-Extended?
Google-Extended ist kein eigener Crawler, sondern ein Token in der robots.txt. Damit legst du fest, ob Inhalte, die Google ohnehin crawlt, für das Training der Gemini-Modelle und für Grounding in Gemini verwendet werden dürfen. Auf die Google-Suche und das Ranking hat der Token laut Google keinen Einfluss.
Ist das Ergebnis identisch mit dem, was der echte Bot bekommt?
Bei der robots.txt ja, beim Abruf nicht in jedem Fall. Der Check sendet den User-Agent des Bots, die Anfrage kommt aber nicht aus den IP-Bereichen von OpenAI oder Anthropic. Eine Firewall, die Bots über die IP verifiziert, kann den Check ablehnen und den echten Bot durchlassen. Sperren, die am User-Agent hängen, zeigt der Check zuverlässig.
Wie oft kann ich den Check nutzen?
Fünf neue Checks pro Stunde. Jedes Ergebnis wird 24 Stunden gespeichert, eine erneute Prüfung derselben URL in diesem Zeitraum zeigt das gespeicherte Ergebnis und löst keinen neuen Abruf aus. Pro Check gehen acht Anfragen und zwei Seitenaufrufe im Browser an die geprüfte Website.