KI-Crawler prüfen: Sind GPTBot & Co. blockiert?
Testen Sie in 20 Sekunden, ob GPTBot, OAI-SearchBot, PerplexityBot, ClaudeBot und fünf weitere KI-Crawler Ihre Seite laden dürfen – laut robots.txt und per echtem Abruf.
Kostenlos: Einzel-URL-Checks, bis zu 10 pro Stunde, ohne Anmeldung.
KI-Crawler blockieren oder zulassen?
Viele Seitenbetreiber wollen KI-Crawler aussperren, um ihre Inhalte nicht für das Training freizugeben – und verschwinden dabei versehentlich aus der KI-Suche. Wichtig ist die Unterscheidung:
| Bot | Betreiber | Zweck | Empfehlung für Sichtbarkeit |
|---|---|---|---|
OAI-SearchBot | OpenAI | ChatGPT-Suche und Quellenlinks | Zulassen |
ChatGPT-User | OpenAI | Abruf, wenn Nutzer eine URL nennen | Zulassen |
GPTBot | OpenAI | Trainingsdaten | Ihre Entscheidung |
PerplexityBot | Perplexity | Perplexity-Index | Zulassen |
ClaudeBot | Anthropic | Training | Ihre Entscheidung |
Google-Extended | Gemini-Training (Token, kein eigener Crawler) | Ihre Entscheidung | |
Bingbot | Microsoft | Bing-Index, auch für Copilot | Zulassen |
Beispiel: Training sperren, KI-Suche erlauben
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: *
Allow: /Prüfen Sie danach, ob Cloudflare dieselbe Entscheidung umsetzt – sonst blockiert die Firewall trotzdem. Den Gesamtstatus Ihrer Seite zeigt der KI-Sichtbarkeitscheck; die Datei für KI-Assistenten prüfen Sie mit dem llms.txt Checker.
Häufige Fragen
Wie prüfe ich, ob GPTBot blockiert ist?
URL eingeben: Wir lesen die robots.txt-Regel für GPTBot und acht weitere Bots und rufen die Seite zusätzlich mit dem GPTBot-User-Agent ab. Ein 403, 429 oder eine Challenge-Seite bedeutet, dass eine Firewall den Bot aussperrt.
Soll ich KI-Crawler blockieren?
Das ist eine Abwägung. GPTBot sammelt Trainingsdaten, OAI-SearchBot versorgt die ChatGPT-Suche. Wer GPTBot blockiert, aber OAI-SearchBot zulässt, bleibt in der ChatGPT-Suche sichtbar und verweigert nur das Training.
Warum ist der Bot blockiert, obwohl robots.txt ihn erlaubt?
robots.txt ist nur eine Bitte. Cloudflare („Block AI bots“, Bot Fight Mode), Shop-Firewalls und Rate-Limits können KI-Crawler unabhängig davon abweisen.
Ist der KI-Crawler-Check kostenlos?
Ja, bis zu 10 Checks pro Stunde, ohne Anmeldung.