AIクローラー拒否・遮断チェック
GPTBot、OAI-SearchBot、PerplexityBot、ClaudeBotなど9種類のAIクローラーが、あなたのページにアクセスできるかを約20秒で確認。robots.txtの判定と実際の取得結果の両方を表示します。
無料：1URLずつ、1時間に10回まで。登録不要。
拒否するクローラー・許可するクローラー
「AIに学習されたくない」とAIクローラーをまとめて遮断した結果、AI検索からも消えてしまうケースがあります。用途の違いを押さえましょう。
| ボット | 運営 | 用途 | AI検索に出たい場合 |
|---|---|---|---|
OAI-SearchBot | OpenAI | ChatGPT検索・引用リンク | 許可 |
ChatGPT-User | OpenAI | ユーザーがURLを指定したときの取得 | 許可 |
GPTBot | OpenAI | 学習データ | 任意 |
PerplexityBot | Perplexity | Perplexityの検索インデックス | 許可 |
ClaudeBot | Anthropic | 学習 | 任意 |
Google-Extended | Geminiの学習制御（トークンのみ） | 任意 | |
Bingbot | Microsoft | Bing・Copilot | 許可 |
設定例：学習は拒否、AI検索は許可
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: *
Allow: /変更後は、Cloudflare側でも同じ方針になっているか必ず確認してください。サイト全体の状態はLLMO診断、AI向けの案内ファイルはllms.txtチェックで確認できます。
よくある質問
GPTBotが拒否されているか確認するには？
URLを入力するだけです。robots.txtのGPTBot向けルールを判定し、さらにGPTBotのUser-Agentで実際にページを取得します。403・429やチャレンジ画面ならファイアウォールで遮断されています。
AIクローラーは拒否すべきですか？
目的次第です。GPTBotは学習データ収集、OAI-SearchBotはChatGPT検索用です。GPTBotだけ拒否してOAI-SearchBotを許可すれば、学習は断りつつChatGPT検索には表示され得ます。
robots.txtで許可しているのに遮断されるのはなぜ？
robots.txtはお願いにすぎません。Cloudflareの「Block AI bots」やBot Fight Mode、ECサイトのWAF、レート制限はrobots.txtと無関係にAIクローラーを拒否します。
無料ですか？
はい。1時間に10回まで、登録不要です。