GPTBotを許可するかは、サイトの目的で決めます。記事を読まれることが集客になるサイトは許可、コンテンツ自体が商品のサイトは学習用だけを拒否する、という分け方があります。Cloudflareが観測したAIボットのクロールのうち約8割は学習目的で（2025年7月）、2025年8月第1週にはClaudeBotとGPTBotで観測されたクロールの約半分を占めました（出典6）。本記事では主要AIクローラー16種のユーザーエージェント（UA）一覧と、当サイト（0120.co.jp）で実際に運用しているrobots.txtの実例をそのまま公開します。
AIクローラーとは
AIクローラーとは、OpenAI・Anthropic・Perplexityなどの生成AI企業が、AIモデルの学習やAI検索の回答生成のためにWebサイトの情報を自動収集するプログラムです。従来のGooglebotが「検索結果に表示するため」にクロールするのに対し、AIクローラーは目的が3系統に分かれており、この区別を理解しないままrobots.txtを設定すると「学習は拒否したかったのにAI検索からの流入まで失った」という事故が起こり得ます。
AIクローラーの3分類
| 分類 | 目的 | 代表例 | 止めた場合の影響 |
|---|---|---|---|
| 学習用（Training） | AIモデルの訓練データ収集 | GPTBot、ClaudeBot、CCBot（Google-Extended・Applebot-Extendedは巡回せず、学習などへの利用を決める指定） | その会社の学習などに、自社サイトの内容を使わないよう求めることになる |
| 検索用（Search） | AI検索の索引作成・回答生成 | OAI-SearchBot、Claude-SearchBot、PerplexityBot | その会社のAI検索の答えに出にくくなる（OpenAIは、OAI-SearchBotを拒否したサイトはChatGPTの検索の答えに出ないが、ナビゲーション用のリンクとしては出ることがあると説明） |
| ユーザー操作用（User Action） | 利用者の質問に応じたリアルタイム取得 | ChatGPT-User、Claude-User、Perplexity-User | 利用者の指示による取得を止めたい意思を示す（OpenAIとPerplexityは、この取得にはrobots.txtが適用されない場合があると説明） |
学習用と検索用の設定は、それぞれ独立しています。OpenAIは、robots.txtを変えてから検索結果に反映されるまで約24時間かかると説明しています（出典1）。
Cloudflareが2025年8月28日に公開した調査「A deeper look at AI crawlers: breaking down traffic by purpose and industry」によると、同社が観測したAIボットのクロールのうち約80%が学習目的でした（2025年7月）（出典6）。自社のアクセスログでの割合は、サイトによって違います。
なお、自社がAIを導入しているかどうかにかかわらず、自社サイトはAIのクローラーの巡回の対象になり得ます。「自社はAIを使っていないから関係ない」とはならない点に注意が必要です。
主要AIクローラー一覧【2026年版UA早見表】
各社の公式ドキュメント（OpenAI Bot文書、Anthropic公式ヘルプ、Perplexity開発者ドキュメント、Googleクローラー文書、Appleのサポート文書）に基づく一覧です。OpenAI・Anthropic・Perplexity・Google・Appleの記述は2026年10月18日に確かめ直しました。robots.txtの「User-agent:」行には、この表の「UAトークン」をそのまま記述します。
| 運営企業 | UAトークン | 用途 | robots.txt遵守 |
|---|---|---|---|
| OpenAI | GPTBot | 基盤モデルの学習 | 遵守 |
| OpenAI | OAI-SearchBot | ChatGPT検索への表示 | 遵守 |
| OpenAI | ChatGPT-User | ユーザー操作起点の取得 | ユーザー起点のため対象外の場合あり |
| OpenAI | OAI-AdsBot | 広告ランディングページの検証 | 遵守 |
| Anthropic | ClaudeBot | モデルの学習・改善 | 遵守 |
| Anthropic | Claude-SearchBot | 検索品質の向上 | 遵守 |
| Anthropic | Claude-User | ユーザー操作起点の取得 | 遵守 |
| Perplexity | PerplexityBot | Perplexity検索への表示 | 遵守 |
| Perplexity | Perplexity-User | ユーザー操作起点の取得 | 原則無視（公式が明記） |
| Googlebot | Google検索・AI Overviews | 遵守 | |
| Google-Extended | Gemini学習・グラウンディング制御 | 遵守（制御用トークン） | |
| Apple | Applebot | Siri・Spotlightの検索 | 遵守 |
| Apple | Applebot-Extended | Appleの基盤モデル学習の制御 | 遵守（制御用トークン） |
| Common Crawl | CCBot | オープンデータセット構築（多数のLLM学習に二次利用） | 遵守 |
| Meta | meta-externalagent | MetaのAI学習等 | 遵守 |
| Amazon | Amazonbot | Alexa等の回答生成 | 遵守 |
このほかByteDanceのBytespiderも広く観測されていますが、公式の管理ドキュメントが公開されておらず、挙動を制御しにくいクローラーです。アクセスを止めたい場合はrobots.txtではなくWAF側での制御が現実的です。
実際のUA文字列（ログ確認用）
アクセスログから「どのAIが来ているか」を調べるときは、UAトークンを含む完全な文字列で確認します。公式に公開されている代表例は次のとおりです（OpenAI Bot文書・Perplexity開発者ドキュメント、2026年10月18日確認）。OpenAIは、版の番号は変わることがあるとしています。
# OpenAI GPTBot（学習用）
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
# OpenAI OAI-SearchBot（ChatGPT検索用）
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
# OpenAI ChatGPT-User（ユーザー操作用）
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
# Perplexity PerplexityBot（検索用）
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Anthropicの3つのボット（ClaudeBot / Claude-SearchBot / Claude-User）は、公式ヘルプでUAトークン名のみが公開されています。ログ確認時はトークン名の部分一致で抽出すれば判別できます。
GPTBot・ClaudeBotは許可すべきか
当社は、記事を読まれることが集客になるため、AIのクローラーを学習用・検索用とも全許可にしています。判断の材料は2つです。
材料1: 検索用のクローラーを止めると、その会社のAI検索に出にくくなる。 ChatGPT検索やPerplexityの回答で出典として示されるには、検索用クローラー（OAI-SearchBot・PerplexityBot等）のアクセスが前提です（出典1・出典3）。OpenAIは、robots.txtの変更が検索結果に反映されるまで約24時間かかると説明しています（出典1）。
材料2: 学習用を許可するかは、自社の内容を学習に使われることをどう考えるかで決める。 学習用（GPTBot・ClaudeBot）と検索用の設定は独立しています。学習用を許可したからといって、AIの答えで自社が勧められるとは限りません。コンテンツそのものが商品のサイトは、学習用だけを止める判断もあります。
ただし「クロール量と見返り」の非対称は理解しておく
Cloudflareの2025年8月の調査では、クロール数と参照流入（AIの回答経由でサイトに送られるクリック）の比率に大きな差があることが示されました（出典6）。
| AI企業 | クロール対参照比率（全カテゴリ既定値） | ニュース・出版カテゴリ |
|---|---|---|
| Anthropic | 約50,000 : 1 | 約2,500 : 1 |
| OpenAI | 約887 : 1 | 約152 : 1 |
| Perplexity | 約118 : 1 | 約32.7 : 1 |
（出典: Cloudflare「A deeper look at AI crawlers: breaking down traffic by purpose and industry」2025年8月28日公開、同年8月第1週の観測値）
Anthropicは約5万回のクロールに対して参照が1回という計算で、「クロールさせ損では」という議論があるのは事実です。クロールの量に対して返ってくる訪問は少ないため、許可するかどうかは、訪問の数ではなく、自社サイトの目的で決めてください。
判断マトリクス：サイトタイプ別の設定の例
| サイトタイプ | 学習用（GPTBot/ClaudeBot等） | 検索用（OAI-SearchBot等） | ユーザー操作用 |
|---|---|---|---|
| コーポレートサイト・店舗サイト | 許可 | 許可 | 許可 |
| BtoBサービスサイト（リード獲得型） | 許可 | 許可 | 許可 |
| 無料メディア（広告収益型） | 方針次第 | 許可 | 許可 |
| 有料会員制メディア・教材販売 | 拒否 | 方針次第 | 方針次第 |
| 独自データベース・調査レポート販売 | 拒否 | 拒否も選択肢 | 方針次第 |
ポイントは「学習用と検索用を別々に判断できる」ことです。たとえばGPTBotを拒否してもOAI-SearchBotを許可していれば、ChatGPT検索には引き続き表示され得ます。同様に、Googleのクローラー公式ドキュメントには「Google-ExtendedはGoogle検索への掲載に影響せず、ランキングシグナルとしても使われない」と書かれており（出典4）、Google-Extendedを拒否しても、Google検索への掲載や順位には影響しません。
Google検索のAI機能（AIによる概要・AIモード）にサイトを出すかどうかは、Google-Extendedではなく、Search Consoleの［設定］＞［検索の生成 AI］で決めます（2026年8月31日から。既定は「含める」で、親のプロパティがある場合は親の設定を受け継ぐのが既定）（出典5）。親のプロパティの設定を受け継いでいる場合は、親の設定も確かめてください。
ROI試算例：許可した場合に何が得られるか
仮にAIO対策によってAI検索経由の流入が月30セッション生まれ、AI経由訪問の問い合わせ転換率を3%と仮定すると、月0.9件（年約11件）の問い合わせ増になります（※数値はあくまで試算用の仮定です）。受注単価が30万円・受注率30%の事業なら年間約99万円の売上貢献という計算になります。検索用のクローラーを意図せず止めている場合は、その会社のAI検索に出にくくなるため、今の設定が意図どおりかを確かめてください。
当サイトのrobots.txt実例（コピペ可）
当サイト0120.co.jpで実際に運用しているrobots.txtの全文です。集客目的のコーポレートサイトなので、AIクローラーは学習用・検索用とも全許可にしています。
User-agent: *
Allow: /
Disallow: /privacy/
Disallow: /terms-shobai/
Disallow: /legal/
User-agent: ChatGPT-User
Allow: /
User-agent: GPTBot
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: Claude-User
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: Googlebot
Allow: /
User-agent: Google-Extended
Allow: /
User-agent: Applebot-Extended
Allow: /
Sitemap: https://0120.co.jp/sitemap.xml
設計意図は3つです。
- 全体は許可しつつ、法務系ページだけ汎用ルールで除外。 プライバシーポリシーや特商法ページはAIに引用されても集客価値がないため、
User-agent: *側でDisallowしています。ただし、個別にUser-agentを書いたクローラーにはUser-agent: *のグループは適用されません（出典7）。この例では、個別にAllow: /を書いた主要なAIクローラーには、法務系のページも許可されています。法務系のページを止めたい場合は、各グループにもDisallowを書きます。 - 主要AIクローラーを明示的にAllow。 「User-agent: *」だけでも技術的には許可になりますが、明示することで方針が一目で分かり、将来一部だけ拒否に切り替える際も行の書き換えだけで済みます。
- Sitemap行でサイトマップの場所を示す。 クローラーがページを見つける助けになります。
学習などへの利用を制限したい場合の書き換え例
有料コンテンツを持つサイトが「AI検索には出たいが、学習などには使わせたくない」場合は、学習用のクローラーと、学習などへの利用を決める指定をDisallowに変えます。
# 学習などへの利用を制限
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: Applebot-Extended
Disallow: /
# 検索用クローラーは許可（AI検索への表示は維持）
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
Google-Extendedは、Geminiの学習に加えて、Geminiアプリなどのグラウンディング（回答を作るときにGoogleの検索インデックスから内容を渡すこと）への利用も止める指定です。Google検索への掲載や順位には影響しません（出典4）。
クロール頻度だけを抑えたい場合、Anthropicは公式ヘルプで非標準拡張のCrawl-delayへの対応を明記しています（出典2）。
User-agent: ClaudeBot
Crawl-delay: 1
設定手順チェックリスト（7ステップ・所要30分）
- 1. 現状確認:
https://自社ドメイン/robots.txtをブラウザで開き、現在の記述を控える。個別のBot名の指定がなければUser-agent: *のグループが適用されます。適用される拒否の指定がなければ、robots.txtの上では許可の状態です。ファイルが無い（404の）場合は、robots.txtによる制限はありません - 2. 方針決定: 上の判断マトリクスで自社サイトのタイプを特定し、学習用・検索用・ユーザー操作用それぞれの許可/拒否を決める
- 3. 記述作成: 本記事の実例をベースに、UAトークンの綴りとハイフンの位置を公式表記どおりに記述する（User-agentの照合は大文字・小文字を区別しない決まりです）
- 4. 設置: ドキュメントルート直下（
/robots.txt）にアップロード。Next.js等の静的サイトはpublic/robots.txtに配置 - 5. 動作確認:
curl https://自社ドメイン/robots.txtで内容が返ることと、文字化け・HTMLエラーページになっていないことを確認 - 6. ログ監視: 設置1〜2週間後にアクセスログを「GPTBot」「ClaudeBot」「PerplexityBot」で検索し、意図どおりのアクセス状況かを確認
- 7. 四半期レビュー: AIクローラーは新顔が増え続けるため、各社公式Bot文書を3ヶ月ごとに見直し、UAトークンの追加・変更を反映する
注意：robots.txtは「お願い」であって「壁」ではない
robots.txt自体は、アクセスを技術的に遮断する仕組みではありません。robots.txtの規格（RFC 9309）も、これらのルールはアクセスを認可する仕組みではないとしています（出典7）。Perplexityの公式ドキュメントは、ユーザー操作起点のPerplexity-Userについて「ユーザーがリクエストした取得であるため、原則robots.txtを無視する」と明記しています（出典3）。OpenAIのChatGPT-Userも、利用者の指示による取得にはrobots.txtが適用されない場合があるとされています（出典1）。アクセス自体を技術的に遮断したい場合は、CloudflareのAIボットブロック機能やWAFのUAフィルタを併用してください。逆に集客目的のサイトでは、こうした遮断機能が意図せずONになっていないかの確認も重要です。
まとめ：今日やるべき3つのアクション
- 自社のrobots.txtを今すぐ確認する（5分）—
https://自社ドメイン/robots.txtを開き、GPTBot・ClaudeBot・PerplexityBotの扱いを把握する。個別のBot名の指定がなければUser-agent: *のグループを確かめ、適用される拒否の指定がなければ、robots.txtの上では許可です。 - 判断マトリクスで方針を決め、設定を反映する（30分）— 集客目的なら本記事の当サイト実例をそのまま流用できます。有料コンテンツがあるなら「学習などへの利用を制限」の例を使ってください。
- AIクローラーが来た後の「読まれる中身」を整える — クローラーを許可するのは入口にすぎません。読み手に役立つ独自の内容と、会社や料金の情報の一致が土台です。まずは無料のAIO対策チェックリストで現状を診断してください。
AI検索での見え方の確認から、構造化データ・FAQの整備までを任せたい方は、当社のAIO対策サービスをご覧ください。スタンダードプラン月300,000円（税抜・初期費用150,000円〜・最低6ヶ月、以降1ヶ月単位の自動更新）から提供しており、初月のAIO診断（ChatGPT・Gemini・Perplexityでの言及状況の調査・競合比較・改善提案レポート）、構造化データの実装、FAQコンテンツの設計、月次モニタリングレポートを行います。robots.txtの設定そのものは、この記事の手順で自社で進められます。最初のご相談（オンライン・秘密厳守）で現状と目的を伺い、どのプランが合うかを判断します。
あわせて読みたい
関連記事
出典
確認日はいずれも2026-10-18です。
- OpenAI「Overview of OpenAI Crawlers」（確認日：2026-10-18）。GPTBot・OAI-SearchBot・ChatGPT-User・OAI-AdsBotの役割、設定がそれぞれ独立していること、OAI-SearchBotを拒否したサイトはChatGPTの検索の答えに出ないがナビゲーション用のリンクとしては出ることがあること、robots.txtの変更が検索結果に反映されるまで約24時間かかること、UA文字列の例（版の番号は変わることがある）
- Claude ヘルプセンター「Does Anthropic crawl data from the web, and how can site owners block the crawler?」（確認日：2026-10-18）。ClaudeBot・Claude-SearchBot・Claude-Userの役割、robots.txtの指定に従うこと、非標準拡張のCrawl-delayに対応すること
- Perplexity「Perplexity Crawlers」（確認日：2026-10-18）。PerplexityBotは検索結果にサイトを出すためのもので学習には使わないこと、Perplexity-Userは原則としてrobots.txtを無視すること、UA文字列
- Google「Google の一般的なクローラー」（確認日：2026-10-18）。Google-Extendedは独自のユーザーエージェントを持たない指定で、Geminiの学習とGeminiアプリなどのグラウンディングへの利用を管理し、Google検索への掲載や順位には影響しないこと
- Search Console ヘルプ「検索の生成 AI 設定」（確認日：2026-10-18）。生成AI機能にサイトを含めるか除外するかを選べること、既定は含めること（親のプロパティがある場合は親の設定を受け継ぐのが既定）、この設定はAIの学習には影響せず、学習の制限はGoogle-Extendedで行うこと
- Cloudflare「A deeper look at AI crawlers: breaking down traffic by purpose and industry」（2025年8月28日公開、確認日：2026-10-18）。AIボットのクロールの約80%が学習目的（2025年7月のグラフ）、2025年8月第1週にClaudeBotとGPTBotで観測されたクロールの約半分、クロール対参照の比率
- IETF「RFC 9309 Robots Exclusion Protocol」（2022年9月、確認日：2026-10-18）。これらのルールはアクセスを認可する仕組みではないこと、User-agentの照合は大文字・小文字を区別しないこと、クローラーは自分に合うグループのルールに従うこと