Wie Sie prüfen, ob ChatGPT, Claude und Perplexity Ihre Website erreichen können

Jeder größere KI-Anbieter betreibt mehrere, unterschiedlich arbeitende Bots. Wer das nicht auseinanderhält, blockt schnell den falschen. OpenAI (ChatGPT) - GPTBot: sammelt Trainingsdaten für zukünftige Modelle - OAI-SearchBot: baut den Suchindex für die ChatGPT-Suche auf - ChatGPT-User: ruft Seiten live ab, wenn ein Nutzer eine konkrete Frage stellt, und ist damit der Bot, der für Zitate in Antworten sorgt

Anthropic (Claude) - ClaudeBot: sammelt Trainingsdaten - Claude-SearchBot: indexiert Inhalte für die Claude-Websuche - Claude-User: ruft Seiten während laufender Konversationen live ab

Perplexity - PerplexityBot: crawlt für den Suchindex - Perplexity-User: ruft Seiten auf Basis konkreter Nutzeranfragen live ab Für die Zitierfähigkeit in Antworten sind jeweils die "User"-Bots (ChatGPT-User, Claude-User, Perplexity-User) entscheidend, nicht die Trainings-Crawler. Ein Block von GPTBot in der robots.txt hat also erstmal nichts damit zu tun, ob Sie in einer ChatGPT-Antwort zitiert werden können.

User-Agent-Strings lassen sich beliebig fälschen. Ein Eintrag wie "ChatGPT-User" im Log ist deshalb allein kein Beweis. Verlässlich wird die Prüfung erst über die offiziellen IP-Bereiche der Anbieter: - OpenAI: openai.com/gptbot.json, openai.com/searchbot.json, openai.com/chatgpt-user.json - Anthropic: claude.com/crawling/bots.json - Perplexity: perplexity.com/perplexitybot.json, perplexity.com/perplexity-user.json Ein einfacher Grep-Befehl im Access-Log zeigt, welche Anfragen sich als KI-Bot ausgeben:

Die gefundenen IPs gleichen Sie anschließend gegen die offiziellen Listen ab. Liegt eine IP außerhalb des veröffentlichten Bereichs, handelt es sich nicht um den echten Bot, sondern um einen Fake-Absender. Ein Sonderfall bei Anthropic: Ein Teil der offiziellen ClaudeBot-IP-Bereiche liegt in Google-Cloud- und Azure-Adressraum. Eine ASN-Abfrage, die "Google Cloud" statt "Anthropic" zurückgibt, bedeutet hier nicht automatisch Fälschung, sondern hängt an der zugrunde liegenden Cloud-Infrastruktur.

Ein häufiger Fehler: Eine robots.txt blockt GPTBot pauschal, um Training zu verhindern, und schließt dabei versehentlich OAI-SearchBot mit ein, wenn beide Regeln gemeinsam in einer zu breiten Anweisung landen.

Das Ergebnis: Die Seite verschwindet nicht nur aus dem Training, sondern auch aus der ChatGPT-Suche. Definieren Sie deshalb für jeden Bot eine eigene, klar benannte Regel:

Wichtig zu wissen: Für ChatGPT-User gilt die robots.txt laut OpenAI-Dokumentation nicht zwingend, da der Abruf durch eine konkrete Nutzeranfrage ausgelöst wird. Über robots.txt lässt sich dieser Bot also weder zuverlässig einladen noch zuverlässig aussperren, entscheidend ist hier allein die technische Erreichbarkeit des Servers.

Der schnellste Praxistest kostet nichts: Geben Sie ChatGPT (mit aktivierter Websuche), Claude oder Perplexity den Auftrag, eine konkrete URL Ihrer Website zu öffnen und die Überschrift wörtlich zu zitieren. Beobachten Sie parallel Ihr Access-Log. 1. Kommt in der Antwort ein korrektes Zitat an und taucht im Log ein erfolgreicher Abruf der jeweiligen echten IP auf, ist die Seite technisch sauber erreichbar.

2. Bleibt die Antwort vage oder verweigert das System den Abruf, lohnt sich der Blick ins Log: Oft liefert der Server einen Fehlerstatus (403, 404, 429), den ein normales Uptime-Monitoring gar nicht bemerkt, weil dieses mit einem gewöhnlichen Browser-Client testet und andere Antworten erhält als ein KI-Bot.

Kommt der Bot nachweislich durch, taucht Ihre Seite aber trotzdem in keiner Antwort auf, liegt kein Zugriffsproblem mehr vor, sondern ein Relevanz- oder Indexierungsthema. Das ist ein eigenständiges Feld der GEO-Optimierung (Content-Struktur, Aktualität, Autorität) und keine technische Frage mehr.