AIクローラーは許可か拒否か｜社内で決めるための判断基準と意思決定シート

「GPTBotは止めたほうがいいのか」。「AIに学習されるのは嫌だが、AI検索で紹介されなくなるのも困る」。

AIクローラーへの対応を相談されると、たいていの会社がこの二つの気持ちの間で止まってしまいます。

設定の作業そのものは、数分で終わります。ただ、何を許可して何を拒否するかを決めないまま作業すると、事故が起きます。

止めたつもりが止まっていなかった例も、止めるつもりのないものまで止めていた例も、実際によく起きる失敗です。

この記事は、中小企業のWeb担当者、マーケター、経営者の方が、AIクローラーを許可するか拒否するかを社内で決めるための記事です。判断の基準、目的別の考え方、記入できる意思決定シート、承認の進め方をまとめました。

robots.txtの具体的な書き方や、CDNの設定画面の手順には踏み込みません。ここでは「決め方」に絞ります。

公式ページと文化庁の資料は、2026年10月17日に開いて確かめました。目的別の出発点は、筆者の提案として書き分けます。

先に結論：用途で3つに分けて、理由とともに決める

要点を、先に表にします。

論点	確認できたこと	実務上の意味
用途の分け方	主要各社は、学習用、検索用、利用者の操作用を別の名前のクローラーに分けている	用途ごとに、許可と拒否を別々に決められる
検索用を止めたとき	OpenAIは、OAI-SearchBotを拒否したサイトはChatGPTの検索の回答に表示されないと説明している	AI検索での露出を、自ら手放すことになる
学習用を止めたとき	Googleは、Google-Extendedが検索への掲載にも順位にも影響しないと説明している	通常の検索結果への影響を心配せずに決められる
利用者の操作用	OpenAIとPerplexityは、ユーザーの依頼による取得にはrobots.txtが適用されない場合があると説明している	robots.txtだけでは止まらない前提で考える
守りたい情報	robots.txtは、守るかどうかを相手に委ねる仕組み	認証など、入口で守る
著作権	文化庁の資料は、学習用クローラーの制限を権利者やサイト管理者が自由に行えると整理している	拒否しても、法的に不利になる心配は基本的にない

迷ったときの出発点は、筆者の提案として次のとおりです。

• 検索用は許可する
• 学習用は、サイトの目的しだいで決める
• 利用者の操作用は、原則として許可する

読む順番の目安

判断の基準だけを知りたい方は、用途の3分類と、目的別の章を読めば足ります。

社内で稟議を通す必要がある方は、意思決定シートと、承認の進め方の章を、そのまま資料に使えます。

著作権の面が気になる方は、文化庁の資料を扱った章を先に読んでも構いません。

用語の確認

クローラーは、Webページを自動で集めて回るプログラムです。robots.txtは、サイトの運営者がクローラーに「ここは読まないでほしい」と伝えるための、公開されたテキストファイルです。

ユーザーエージェントは、アクセスしてきたプログラムが名乗る名前のことです。アクセスログで、どのクローラーが来たかを見分ける手がかりになります。

判断を記録に残す

決めた内容は、意思決定シートに残します。承認者を決め、少なくとも半年に一度は見直します。

担当者が変わっても、なぜそう決めたのかを説明できる状態にしておくことが、この記事のゴールです。

この記事で使った情報源

情報源	確かめた内容
クローラーの説明（OpenAI）	OAI-SearchBot、GPTBot、ChatGPT-Userの用途と、設定が互いに独立していること
Anthropicのヘルプ	ClaudeBot、Claude-User、Claude-SearchBotの用途と、止めたときの影響
Perplexityのクローラー説明	PerplexityBotとPerplexity-Userの用途
Googleの共通クローラー説明	Google-Extendedの役割と、検索への影響
GoogleのAI機能の説明	AI OverviewsとAI Modeの制御方法
Appleの説明	Applebot-Extendedの役割
Cloudflareの更新情報	AI関連の通信を、用途別に管理できること
文化庁「AIと著作権に関する考え方について」	学習用クローラーの制限と、著作権法の関係

なぜ「許可か拒否か」を社内で決める必要があるのか

AIクローラーへの対応は、一見するとWeb担当者の技術作業に見えます。

しかし実際には、複数の部署の利害が絡む経営判断です。

部署	関心
営業・マーケティング	AI検索で自社が紹介されることは、新しい集客経路になる
編集・コンテンツ	時間をかけて作った記事が、出典の表示なしに使われるのは避けたい
法務・知財	著作権や利用規約の面で、拒否の意思表示を残しておきたい
情報システム	アクセスが増えて、サーバーが重くなるのは困る

担当者がひとりで決めてしまうと、後から理由を説明できません。方針が、担当者の交代とともに消えてしまいます。

判断の基準と、記録の残し方を先に決めておく価値は、ここにあります。

AIクローラーは3つの用途で分けて考える

「AIクローラー」とひとことで言っても、目的の違うものが混ざっています。判断の第一歩は、用途で分けることです。

用途	何をするか	主な例（2026年10月時点）	拒否したときの主な影響
学習用	AIモデルを作る、改良するためのデータを集める	GPTBot（OpenAI）、ClaudeBot（Anthropic）	今後の学習データに含めないという意思表示になる
検索用	AI検索の回答で紹介する候補として、ページを集める	OAI-SearchBot（ChatGPT）、Claude-SearchBot、PerplexityBot	AI検索の回答で、出典として紹介されにくくなる
利用者の操作用	利用者が質問したときに、その場でページを読みに行く	ChatGPT-User、Claude-User、Perplexity-User	利用者がそのページについて尋ねても、読めなくなる場合がある

上の図は、用途ごとに決める順番の目安です。まず検索用、次に操作用、最後に学習用の順で考えると、迷いにくくなります。

OpenAIの説明では、OAI-SearchBotとGPTBotの設定は互いに独立しています。たとえば、OAI-SearchBotを許可して検索結果に表示されつつ、GPTBotを拒否して学習には使わせない、という設定ができます。

GoogleとAppleの「Extended」は別の仕組み

Google-ExtendedとApplebot-Extendedは、ページを読みに来るクローラーではありません。robots.txtで指定するための識別子です。

Googleの説明では、Google-Extendedは独自のユーザーエージェントを持ちません。既存のGoogleのクローラーが集めた内容を、今後のGeminiモデルの学習と、Geminiでの参照に使ってよいかを管理するものです。

Google検索への掲載や順位には、影響しません。

Appleの説明でも、Applebot-Extendedは自分でページを取得しません。Applebotが集めたデータを、Appleの生成AIの学習に使うかどうかを決めるものです。

拒否したページも、検索結果に含まれることがあります。

学習用：許可するメリットとリスク

学習用を許可すると、自社の情報が将来のAIモデルの知識の一部になる可能性があります。会社名や製品名、業界の基本的な解説が、AIの一般知識として答えに出てくる場合があります。

ただし、学習されたからといって、回答に自社名や出典リンクが表示される保証はありません。

リスクは、時間とお金をかけた独自のコンテンツが、出典の表示なしに要約や言い換えの材料になることです。ノウハウそのものが商品である会社ほど、このリスクは大きくなります。

拒否の効果は、今後の収集と学習に含めないという意思表示です。Anthropicの説明でも、ClaudeBotを制限すると、そのサイトの将来の資料がAIモデルの学習データから除外される、という内容です。

すでに学習済みのモデルから情報が消えるとは、各社の説明から読み取れません。

検索用：許可するメリットとリスク

検索用のクローラーは、ChatGPTやPerplexityなどが回答を作るときに参照する候補ページを集めます。許可すると、回答の中で出典として紹介され、リンクから自社サイトへの訪問が生まれる可能性があります。

OpenAIは、OAI-SearchBotを拒否したサイトはChatGPTの検索の回答には表示されないと説明しています。ただし、案内用のリンクとしては表示されることがあるとも書かれています。

Anthropicは、Claude-SearchBotを止めると、検索結果での見えやすさと正確さが下がる場合があるとしています。

つまり、検索用を止めることは、AI検索での露出を自ら手放すことに近い判断です。

リスクとしては、回答の中で要約が完結してしまい、サイトまで来てもらえない場合があります。

PerplexityBotについては、Perplexityが「AIの基盤モデルの学習には使わない」と説明している点も、判断の材料になります。

利用者の操作用：許可するメリットとリスク

利用者の操作用は、ChatGPTやClaudeの利用者が「このページを要約して」と頼んだときに、その場でページを読みに行くものです。

人の代わりにブラウザを操作しているのに近く、許可しておけば、自社を検討している見込み客が、AIを通じて正確な情報を得やすくなります。

注意点は、OpenAIとPerplexityが、利用者の依頼による取得にはrobots.txtが適用されない場合があると説明していることです。

Perplexityは、Perplexity-Userがrobots.txtの規則を一般に無視すると書いています。拒否したくても、robots.txtだけでは止まらない前提で考える必要があります。

自社の目的別の考え方

用途の3分類を押さえたら、次は自社サイトの目的に当てはめます。

ここから先は、公式の説明を離れた筆者の提案です。判断の出発点として使い、最終的には自社の事情に合わせて調整してください。

集客重視のサイト

コーポレートサイトや、サービス紹介、オウンドメディアのように、問い合わせや資料請求を増やしたい会社です。基本は「すべて許可」から考えます。

AI検索で紹介されるには、検索用の許可が前提になります。学習用も、自社名やサービスの説明がAIの知識に含まれる方向に働く可能性があります。

ただし、ダウンロード資料や有料セミナーの中身のように、連絡先と引き換えにしている部分は、フォームやログインの後ろに置くことを検討します。

有料コンテンツのサイト

有料記事、講座、レポート販売のように、商品そのものが文章や情報である場合です。学習用を拒否する理由が、はっきりしています。

一方で、有料記事の入口となる無料部分や紹介ページは、検索用で拾われたほうが購入につながる可能性があります。

考え方の例は、「学習用は拒否、検索用は紹介ページのみ許可、有料部分はログインの後ろに置く」です。

有料部分が誰でも読める状態で、robots.txtだけで守ろうとしているなら、それは設定の問題です。公開の仕組みを見直してください。

有料や会員限定の情報とAI検索の関係は、別の記事で詳しく扱っています。

有料記事・会員限定・資料DLの情報はAI検索に届く？

会員限定情報のサイト

会員サイト、顧客向けのマニュアル、社内向けの資料は、robots.txtで拒否する対象ではありません。ログインなどの認証で、そもそも外から読めない状態にする対象です。

robots.txtは公開されたお願いの一覧で、守るかどうかは相手しだいです。むしろ、非公開ページの場所をrobots.txtに書くと、その存在を外部に知らせてしまいます。

利用者の操作用のクローラーは、利用者が自分のログイン状態でページを読ませる使い方もありえます。

会員規約で、AIツールへの貼り付けや読み込みをどう扱うかは、クローラー設定とは別に整理しておきます。

ニュース・メディア

記事が主な資産であり、広く読まれることが価値でもあります。判断は分かれますが、「学習用は拒否、検索用は許可」を出発点にすると整理しやすくなります。

速報や解説記事がAI検索で出典として紹介されれば、訪問につながります。一方で、学習データとして無償で使われ続けることには、慎重になる会社が多いためです。

AIサービスとのデータ提供契約を検討している場合は、交渉の方針と矛盾しない設定にしておきます。

BtoB（製造業・IT・専門サービス）

購買担当者が、AIに「〇〇に対応した業者は」「この製品の仕様は」と尋ねる場面が増えています。製品情報、導入事例、よくある質問のページは、検索用と操作用の両方を許可しておくのが基本です。

競合に知られたくない技術資料や見積もりの考え方は、公開ページに置かないことが先決です。

学習用は、自社の専門性をAIの知識に含めたいか、ノウハウの流出を避けたいかで、判断が分かれます。

目的別の出発点まとめ

サイトの目的	学習用	検索用	利用者の操作用	補足
集客重視	許可	許可	許可	渡したくない資料は、フォームの後ろへ
有料コンテンツ	拒否	紹介ページのみ許可	許可（有料部分は認証で保護）	robots.txtに頼らず、認証で守る
会員限定情報	公開部分は方針どおり	公開部分は許可	公開部分は許可	会員ページは認証で保護し、規約も整える
ニュース・メディア	拒否を検討	許可	許可	契約交渉の方針と合わせる
BtoB	方針しだい	許可	許可	機密情報は公開しない

robots.txtだけでは止まらないもの

どの方針を選んでも、設定の限界を知っておく必要があります。

場面	起きること	対処
利用者の操作用	robots.txtが適用されない場合がある	見せたくない情報は、公開しない。認証で守る
IPアドレスでの遮断	Anthropicは、IPの遮断ではオプトアウトが確実にならない場合があると説明している	robots.txtで指定する
サブドメイン	Anthropicは、オプトアウトしたいサブドメインごとにrobots.txtを置くよう案内している	サブドメインごとに確認する
規則を守らないクローラー	公開のお願いなので、守らない相手には効かない	重要な情報は、認証で守る

設定を変えたあとの反映時間

OpenAIは、robots.txtを更新してから、検索の仕組みが調整されるまで、約24時間かかる場合があると説明しています。

変更した日を記録し、すぐに結果が出なくても慌てないようにします。

CDNの初期設定が、知らないうちに効いていることがある

自社で決める前に、すでに拒否されていることがあります。CDNやセキュリティのサービスが、AI関連の通信をまとめて制限している場合です。

Cloudflareは、2026年7月1日の更新情報で、AI関連の通信を、検索、エージェント、学習の3つの振る舞いに分けて管理できるようにしたと告知しています。Freeプランを含む全ての顧客が対象です。

振る舞い	内容
検索（Search）	後で質問に答えるために、コンテンツを索引に入れるクローラー
エージェント（Agent）	人に代わって、リアルタイムで動く自動の操作
学習（Training）	モデルの学習や調整のために、コンテンツを集めるクローラー

それぞれについて、全ページで拒否する、広告を表示するページだけで拒否する、拒否しない、を選べます。

同じ更新情報には、2026年9月15日以降にCloudflareへ新しく登録されるドメインの初期設定が書かれています。学習とエージェントに分類されたbotは、広告を表示するページで拒否され、検索は許可されます。

自社が使っているサービスの設定を、一度見ておきましょう。意図せず、検索用まで止めていないかが要点です。

アクセスログでどのクローラーが来ているかを確かめる方法は、別の記事にあります。

AIクローラーのなりすましを見分ける方法

著作権の観点：文化庁「AIと著作権に関する考え方について」

文化審議会著作権分科会の法制度小委員会は、2024年3月15日に「AIと著作権に関する考え方について」を取りまとめました。

この文書は、公表時点での考え方を示すもので、法的な拘束力はありません。

この記事は法的助言ではありません。個別の判断は、弁護士などの専門家に相談してください。

学習用クローラーの制限は、自由に行える

文書は、AI学習のための複製を防ぐ技術的な措置について、著作権法上、特段の制限はないと整理しています。権利者やウェブサイトの管理者の判断で、自由に行えます。

例として、robots.txtへの記述によるクローラーのアクセス制限と、IDやパスワードによる認証が挙げられています。

したがって、拒否すると法的に不利になるのでは、という心配は基本的に要りません。

拒否の措置が意味を持つ場面

著作権法第30条の4は、作品を味わう目的ではない利用について、原則として許諾なく行えると定めています。ただし、著作権者の利益を不当に害することになる場合は、例外です。

文書は、次のように整理しています。学習を防ぐ措置が取られていて、その措置と過去の実績から、データベースの著作物が将来販売される予定が推認できる場合があります。

その場合に、措置を回避して多数のデータを集める行為は、ただし書に当たりえるとされています。

過去の実績の例として、情報解析に使える形で整理したデータベースの作成実績や、そのライセンス取引の実績が挙げられています。

一方、権利者が反対の意思を示していることだけで、ただし書に当たるとは考えにくいとも書かれています。

データの提供や販売を事業として考えている会社にとって、拒否の設定と方針の記録を残しておくことは、将来の主張の材料のひとつになりえます。これは、筆者の理解です。

検索拡張（RAG）と生成物は、別の話

AIが回答を作るときに外部の情報を検索して使う仕組みを、RAGと呼びます。文書は、RAGなどで既存の著作物の創作的な表現を出力する目的の場合、第30条の4は適用されないと考えられるとしています。

その場合でも、第47条の5の要件を満たせば、許諾なく利用できることがあります。

ただし、認められるのは軽微な利用に限られます。軽微な範囲を超えるなら、原則として権利者の許諾が必要です。

また、AIが作った文章や画像が、既存の作品に似ているかどうかは、通常の著作権侵害と同じく、類似性と依拠性で判断されます。

クローラーを許可したか拒否したかとは別に、生成物の利用の段階で問題になりえます。

意思決定シート

社内で判断するときは、次の表をコピーして埋めてください。

サイト全体で1枚でも構いません。ブログ、製品ページ、会員ページのように方針が違う領域があるなら、領域ごとに1行ずつ書くと、設定作業で迷いません。

項目	記入例	自社の記入欄
対象サイト・領域	製品紹介ページとブログ	（記入）
サイトの主な目的	問い合わせの獲得（集客重視）	（記入）
守りたい情報	導入事例の詳細資料（フォームの後ろ）	（記入）
学習用の方針	許可（理由：専門性をAIの知識に含めたい）	（記入）
検索用の方針	許可（理由：AI検索からの紹介を増やしたい）	（記入）
利用者の操作用の方針	許可	（記入）
対象クローラー名	GPTBot、ClaudeBot、Google-Extended、OAI-SearchBot など	（記入）
実装方法	robots.txt、CDNの設定、認証	（記入）
想定するリスクと対策	要約で完結して訪問が減る。引用されやすいページ構成に改善する	（記入）
効果の確認方法	アクセスログと解析で、AI経由の訪問を月次で確認	（記入）
決定者・承認者	マーケティング責任者、法務担当	（記入）
決定日・次回の見直し日	2026年10月、2027年4月	（記入）

記入のコツは、方針の欄に必ず理由を書くことです。理由があれば、担当者が変わっても、状況の変化に応じて見直すべきかどうかを判断できます。

社内承認の進め方

ステップ1：現状を把握する

まず、いまのrobots.txtと、CDNの設定を確認します。知らないうちに、AIクローラーをまとめて拒否する設定が有効になっていることがあります。

あわせて、サーバーのアクセスログで、どのAIクローラーが来ているかを確認します。議論が具体的になります。

ステップ2：関係部署で方針案を作る

Web担当者が意思決定シートの案を作り、マーケティング、編集、法務、情報システムに見てもらいます。

中小企業では、ひとりが複数の役割を兼ねることも多いでしょう。「集客」「コンテンツ保護」「法務」「サーバー運用」の4つの視点で抜けがないかを見れば、十分です。

ステップ3：決裁者の承認を取る

方針案は、経営者か事業責任者の承認を取ります。説明は、次の3点を1枚にまとめます。

• 何を許可し、何を拒否するか
• その理由
• 拒否した場合に失うもの

検索用を拒否する案では、AI検索での露出が減りうることを、はっきり伝えてください。

ステップ4：設定して記録を残す

承認された方針に沿って設定します。設定した日、変更の前後の内容、承認者を記録し、意思決定シートと一緒に保管します。

ステップ5：結果を確認する

設定から数週間後に、アクセスログを見ます。

拒否したクローラーのアクセスが減っているか、許可したクローラーが引き続き来ているかを確かめます。

AI検索からの訪問数の推移も、あわせて見ておくと、次の見直しの材料になります。

見直しの頻度

AIクローラーの名前、用途、各社の設定画面は、短い期間で変わります。新しいクローラーが加わることも、既存の役割が分かれることもあります。

タイミング	見直す内容
半年に1回	意思決定シートの次回見直し日に合わせ、各社の公式ページと自社の設定を照らし合わせる
事業が変わったとき	有料コンテンツの開始、会員サイトの開設、データ提供の契約交渉が始まったとき
AIサービス側の大きな変更	新しいAI検索の開始や、クローラーの仕様変更の発表があったとき
数字に変化があったとき	AI検索からの訪問の急な減少、サーバー負荷の急な上昇があったとき

よくある誤解

誤解1：学習用を拒否すると、検索結果からも消える

Googleは、Google-Extendedがサイトの検索への掲載にも、順位の判断にも影響しないと説明しています。Appleも、Applebot-Extendedを拒否したページが、検索結果に含まれることがあるとしています。

学習用の拒否と、検索への掲載は、別々に管理されています。

誤解2：Google-Extendedを拒否すれば、AI Overviewsにも使われない

GoogleのAI OverviewsとAI Modeは、Google検索の機能です。Googleの説明では、検索での表示の制御は、Googlebot向けのrobots.txtと、スニペットの制御で行います。

Google-Extendedの拒否では、止まりません。

検索の結果に出る情報を制限したいときは、nosnippet、data-nosnippet、max-snippet、noindexの各制御を使う、と書かれています。

誤解3：GPTBotを拒否すれば、ChatGPTに一切使われない

OpenAIのクローラーは、用途ごとに分かれていて、設定はそれぞれ独立しています。GPTBotを拒否しても、検索用のOAI-SearchBotや、利用者の依頼で動くChatGPT-Userには影響しません。

逆に、OAI-SearchBotを拒否したつもりで、GPTBotだけを書いていたというミスも起こりえます。

誤解4：robots.txtで拒否すれば、ページは守られる

robots.txtは、守るかどうかを相手に委ねるお願いです。利用者の操作用には適用されない場合があり、規則を守らないクローラーも存在します。

守りたい情報は、認証で保護してください。

誤解5：一度拒否すれば、すでに学習された情報も消える

学習用の拒否は、今後の収集や学習に使わないでほしいという意思表示です。学習済みのモデルから削除されるとは、各社の説明から読み取れません。

よくある質問

Q1. 何も設定していない場合は、どうなっていますか？

robots.txtにAIクローラーについての記述がなければ、たいていは許可として扱われます。

ただし、CDNなどのサービスでまとめて拒否する設定が有効だと、意図せず拒否している場合があります。まず現状の確認から始めてください。

Q2. 一部のページだけ学習を拒否することはできますか？

できます。robots.txtでは、ディレクトリやページの単位で、許可と拒否を書き分けられます。

意思決定シートを領域ごとに書いておくと、そのまま設定に落とし込めます。

Q3. 拒否したあとで、許可に戻せますか？

戻せます。robots.txtを書き換えれば、各社の反映時間を経て、再び読みに来るようになります。

ただし、拒否していた期間にAI検索での露出が減っていた場合、元に戻るまでの時間は、公式には示されていません。

Q4. 法務担当がいない会社は、どうすればよいですか？

文化庁の文書は、学習用クローラーの制限を、サイト管理者の判断で自由に行えると整理しています。許可や拒否の設定そのものに、特別な手続きは要りません。

データ提供の契約や、自社のコンテンツが無断で使われた疑いがある場合は、弁護士や知的財産に詳しい専門家に相談してください。

まとめ

AIクローラーの許可と拒否は、AIが好きか嫌いかの話ではありません。自社サイトの目的に照らして、何を得て、何を守るかの判断です。

用途を学習用、検索用、利用者の操作用の3つに分け、目的別の出発点を参考に、意思決定シートへ理由とともに書き込みます。

押さえておきたい点は、次の3つです。

• 守りたい情報は、認証で守る。robots.txtは守る手段にならない
• 学習の拒否と検索への掲載は、別に管理されている
• 方針は、半年に一度は見直す

この3点を押さえれば、担当者が変わっても説明できる方針になります。

ページを増やしても問い合わせが来ないなら、原因はページの外にあります。その場合は、下の入口からご相談ください。