CloudflareのAIクローラー設定、検索ボットまで止めていないかの確認手順

Cloudflareを使っているのに、AIクローラーの設定がいまどうなっているのか、誰も把握していない。そんなサイトは少なくありません。

ChatGPTやPerplexityの回答にサイトを紹介してほしいのに、知らないうちにAIの入口を閉じていないか。この不安に、画面を見ながら答えられるようにまとめました。

AIクローラーとは、AIサービスがWebページを読み取るために巡回する自動プログラムです。Cloudflareは、サイトの手前で通信を中継し、高速化や攻撃防御を行うサービスです。

2026年9月15日に、Cloudflareの設定の意味が変わりました。学習を断るつもりで選んだ設定が、Googleの検索用クローラーまで止める場合があります。

この記事では、設定画面の場所、3つの分類、確認の手順、robots.txtとの関係を順に説明します。内容は、2026年10月18日にCloudflareの公式文書と公式ブログを開いて確かめました。

先に結論 学習だけ断るならDisallow AI Trainingを選ぶ

結論を、確認できたことと筆者の判断に分けて並べます。

論点	確認できたこと	筆者の判断
Search	検索の索引を作る用途として分類されている	AIに引用されたいなら、許可のままにする
Agent	利用者の依頼で、その場にページを取りに来る用途とされている	引用されたいページでは、止めない
Training	9月15日からBlockの対象に、Googlebotなどの複合用途も加わった	学習だけ断るなら、Disallow AI Trainingを選ぶ
新規ドメイン	広告で収益を得るかどうかで、推奨設定が2種類ある	ドメインを追加した直後に、画面で値を確かめる
robots.txt	守るかどうかはクローラー次第と明記されている	強制したいときは、AI Crawl Controlも使う

AIに引用されたいなら、SearchとAgentは止めない

引用の入口になるのは、検索用のクローラーと、利用者の依頼で動くボットです。Cloudflareの分類では、前者がSearch、後者がAgentにあたります。

この2つをBlockにすると、引用される機会そのものを自分で減らすことになります。

学習だけ断るなら、Blockは選ばない

9月15日以降、TrainingのBlockは、検索と学習の両方を担うクローラーにも効きます。公式ブログは、Applebot、Bingbot、Googlebotが止まり、検索にも影響すると説明しています。

学習だけを断る設定は、Disallow AI Trainingという名前で用意されました。

設定を変えたら、確認の手順を見直す

Cloudflareは、短い間隔で仕様を変えています。2026年7月、8月、9月の3回に分けて、公式ブログが新しい設定を発表しました。

古い解説記事の画面説明が、いまの画面と合わない場合があります。この記事の確認手順は、設定を変えるたびに使えます。

Cloudflareの機能は名前が似ているので整理する

AIクローラーに関わる機能は、複数あります。名前が似ていて混同しやすいので、先に表で並べます。

機能	何をするか	提供プラン
AIボット方針	Search、Agent、Trainingの3分類ごとに、ブロックや許可を選ぶ	Freeを含む全顧客
Bot Preference Sync	AIボット方針を、robots.txtに自動で書き込む	FreeからEnterpriseまで
AI Crawl Control	来ているAIクローラーを一覧し、クローラーごとに許可かブロックを選ぶ	全プラン
WAFカスタムルール	条件に合う通信を止めたり通したりする。AI Crawl Controlのブロックもこの仕組みで動く	プランごとに作れる数に上限がある
Pay per crawl	AIクローラーにクロールの対価を請求する	クローズドベータ

AIボット方針

2026年7月1日から、Freeを含む全顧客が、AIボットを用途別に設定できるようになりました。設定の場所は、Securityの設定ページです。

Bot Preference Sync

旧Managed robots.txtの後継です。AIボット方針の内容を、robots.txtに書き込みます。

公式ブログによると、新しく始める顧客では、初期状態で有効になります。

AI Crawl Control

どのAIクローラーが来ているかを見て、クローラーごとに許可かブロックを選ぶ機能です。公式文書によると、無料プランでは、名乗っているユーザーエージェントをもとに識別します。

ユーザーエージェントは、ボットが自分の名前を伝えるための文字列です。

WAFカスタムルール

WAFは、条件に合う通信を止める仕組みです。AI Crawl Controlでクローラーをブロックすると、Cloudflareが「AI Crawl Control」という名前のカスタムルールを作ります。

この仕組みが、のちの確認手順で重要になります。

Search、Agent、Training 3つの分類を押さえる

2026年7月以降のCloudflareは、AIボットを「どの会社のボットか」で分けません。「サイトに来て何をするのか」という振る舞いで分けています。

公式ブログと公式文書の定義を、表にまとめます。

分類	公式の説明	AIに引用されたい会社での位置づけ（筆者の判断）
Search	後から質問に答えるために、内容を集めて索引を作る	止めると、紹介される機会が減る。許可が基本
Agent	利用者に代わって、その場でページを訪れる。チャットのページ取得や、ブラウザを操作するエージェントなど	止めると、利用者がAIにページを読むよう頼んでも読めない。許可が基本
Training	モデルの学習や追加学習のために、内容を集める	経営の方針で決める。引用とは別の問題

Search 索引を作るクローラー

公式ブログは、Searchを、紹介の流入や相応の見返りが期待できる用途だと説明しています。サイトにとって、最も利益に近い用途です。

同じ公式ブログは、Searchをブロックしているサイトは、1%に満たないと紹介しています。

Agent 利用者の依頼で動くボット

公式ブログは、Agentの例として、ChatGPT-Userのようなチャットのページ取得ボットを挙げています。人が待っている場面で動くのが特徴です。

OpenAIの文書も、ChatGPT-Userは、利用者の質問に応じてページを訪れると説明しています。

Training 学習のためのクローラー

公式文書では、Trainingに、検索と学習の両方に使われる複合用途のクローラーも含まれます。ここが、今回の変更の中心です。

複合用途クローラーとは

1つのクローラーが、検索と学習の両方に関わるものを、Cloudflareは複合用途と呼んでいます。Googlebot、Bingbot、Applebotが代表です。

一方で、OpenAI、Anthropic、Amazon、Metaは、検索用と学習用のクローラーを分けていると、公式ブログは説明しています。分かれているので、学習用だけを止めても、検索には影響しません。

分類の土台はVerified bots

公式文書によると、Cloudflareが「Verified bots」として扱うボットは、2つの条件を満たします。

条件	内容
正直に名乗っている	暗号署名、公開IPアドレスの一覧と固定のユーザーエージェント、逆引きDNSのどれかで身元を示せる
行儀がよい	robots.txtを守り、アクセス頻度が常識的で、サイトの意向を避けた形跡がない

ブロックの対象は、検証済みのボットだけに限りません。公式文書は、同じ振る舞いをする未検証のボットも含むと書いています。

名乗りを偽るアクセスの見分け方は、AIクローラーのなりすましの確認で説明しています。

2026年9月15日に変わったこと

2025年から2026年にかけての主な流れを、先に表にします。

時期	内容
2025年8月27日	AI Auditが、AI Crawl Controlという名前になり、一般提供が始まった
2026年7月1日	Freeを含む全顧客が、Search、Agent、Trainingを用途別に設定できるようになった
2026年8月21日	Bot Preference Syncが発表された
2026年9月15日	Blockの意味が変わり、Disallow AI Trainingが加わった。旧Block AI botsは非推奨に
2026年9月30日	AIの利用量に応じて支払う、Pay Per Useのベータが発表された

Blockの意味が変わった

公式ブログによると、BlockとBlock on pages with adsは、以前は複合用途のクローラーに効きませんでした。9月15日からは、すべてのTrainingクローラーに効きます。

つまり、TrainingをBlockにすると、Applebot、Bingbot、Googlebotも止まります。検索の流入まで失う設定になる点が、最大の注意点です。

Disallow AI Trainingという選択肢

学習だけを断る設定として、Trainingに、Disallow AI Trainingが加わりました。名前は、robots.txtに書き込むDisallow行から付けられています。

選べる設定を、整理します。

設定	動き	選べる分類
Allow	他の設定やWAFルールで止められない限り、すべて許可する	3分類すべて
Disallow AI Training	学習を断る意思をrobots.txtに書く。説明責任を果たす複合用途のクローラーは、検索のために許可する。ほかの学習用クローラーはブロックする	Trainingだけ
Block on pages with ads	広告を表示すると判定されたページだけでブロックする	3分類すべて
Block	複合用途も含めて、すべてブロックする	3分類すべて

広告のあるページだけを対象にするDisallowは、ありません。公式ブログは、広告のあるページの一覧が大きく、頻繁に変わるため、robots.txtに書き切れないことを理由にしています。

既存の設定は自動で引き継がれた

公式ブログによると、ほとんどの場合、利用者が何かをする必要はありません。現在の設定は、新しい設定に自動で移されました。

用途別の設定をすでに選んでいたドメインでは、TrainingのBlockとBlock on pages with adsが、Disallow AI Trainingに移されました。

SearchとAgentの設定は、そのままです。

新規ドメインの推奨設定

9月15日以降にドメインを追加すると、広告で収益を得ているかどうかで、2種類の推奨設定が示されます。公式ブログの表を、日本語にまとめ直しました。

設定項目	広告で収益を得ていないサイト	広告で収益を得ているサイト
Bot Preference Sync	有効	有効
Search	Allow	Allow
Training	Allow	Disallow AI Training
Agent	Allow	Block on pages with ads

公式の発表は、時期によって説明が変わっています。2026年7月1日のブログと文書には、新規ドメインで広告のあるページのTrainingとAgentを、既定でブロックすると書かれていました。

10月18日に開いた時点で、その文書の更新日は7月1日のままでした。9月15日のブログが最新ですが、ドメインを追加したら、画面の値を必ず確かめてください。

設定画面の場所と手順

ここからは、公式文書に載っている手順です。画面の文言は、英語表示のまま書きます。

AIボット方針を開く

次の順に進みます。

1. Cloudflareのダッシュボードにログインし、対象のドメインを選ぶ
2. Securityの設定ページ（Settings）を開く
3. 絞り込みで、Bot trafficを選ぶ
4. Configure AI bot policiesを選ぶ

Search、Agent、Trainingのそれぞれについて、いまの設定が表示されます。変更したら、Saveで保存します。

学習だけを断る手順

公式文書では、学習を断るための手順が、次のように案内されています。

1. 上と同じ手順で、Configure AI bot policiesを開く
2. Trainingで、Disallowを選ぶ
3. Enable Bot Preference Syncをオンにする
4. Saveを選ぶ

画面の表記は、公式文書ではDisallow、公式ブログではDisallow AI Trainingです。この記事では、後者の呼び名で書いています。

公式文書によると、この設定で、管理された記述がrobots.txtに追加され、学習用のAIクローラーを通信の入口で止める設定も有効になります。複合用途のクローラーは、この遮断から外れます。

robots.txtに書き込まれる内容

すでにrobots.txtがあるサイトでは、Cloudflareの記述が、既存の内容の前に追加されます。既存のDisallow行は、そのまま残ります。

公式文書の例を、短くした形です。

User-Agent: *
Content-signal: search=yes, ai-train=no, use=reference
Allow: /

User-agent: GPTBot
Disallow: /

1行目から3行目が、コンテンツの使い道を伝える部分です。4行目以降が、学習用のクローラーごとの拒否です。

書き込まれるクローラーの一覧は、Cloudflareが定期的に更新します。表示される中身は、時期によって変わります。

Bingへの伝わり方に注意する

公式ブログによると、Microsoftは、robots.txtで学習を断る仕組みを、2027年初めを目標に準備しています。それまでは、Disallow AI Trainingを選んでも、robots.txtを通じてBingには学習拒否が伝わりません。

この動きは、従来のTrainingのBlockと同じです。BingbotはBlockの対象ではなかったからです。

Bingで学習を断りたい場合、公式ブログは、NOARCHIVEタグや、BingのBlock URLsとContent Removalのツールの利用を案内しています。

Googleの学習だけを断る別の方法

Googleには、Google-Extendedという名前があります。Googleの文書によると、Gemini関連の学習に使われるかを管理するための名前で、Google検索への掲載や順位の判断には使われません。

Cloudflareの設定を使わずに、robots.txtにGoogle-ExtendedのDisallowを書く方法もあります。

AIに引用されたい会社の判断基準

自社の情報を、ChatGPT、Claude、Gemini、Perplexityなどの回答に取り上げてほしい会社の目安を、表にします。公式の説明をもとにした、筆者の判断です。

分類	広告で収益を得ていない場合	広告で収益を得ている場合
Search	Allow	Allow
Agent	Allow	広告のあるページを止めるか、事業の方針で決める
Training	Allow、または学習を断るならDisallow AI Training	Disallow AI Training

どの欄でも、Blockは検索に影響するので、選ぶ理由が明確なときに限ります。

広告を出しているサイトで起きること

Cloudflareは、広告を出すページの推奨を、Agentを広告のあるページでブロックする形にしています。公式ブログは、広告収益が、人が実際にページを見ることで成り立つためと説明しています。

この設定にすると、広告のあるページでは、AIに頼まれてその場にページを取りに来るボットも止まります。広告収益とAIからの引用のどちらを重く見るかで、決めてください。

Trainingを断っても、引用への影響は小さいと考えられる

OpenAIの文書によると、検索用のOAI-SearchBotと、学習用のGPTBotは、それぞれ独立して設定できます。検索結果に出たいが学習は断りたい場合の例として、OAI-SearchBotを許可し、GPTBotを断る設定が示されています。

OpenAIの文書は、OAI-SearchBotを止めたサイトは、ChatGPTの検索の回答に表示されないとも説明しています。

他社のAIサービスは、各社の文書で確かめる

各AIサービスが、どのクローラーの情報を回答に使うかは、各社の仕様で決まります。Cloudflareの分類だけで、引用への影響がゼロと言い切ることはできません。

AIサービスごとのクローラーの名前と役割は、各社の公式文書で確かめてください。

検索用まで止めていないかを確かめる6つのチェック

ここからが、この記事の中心です。上から順に、画面を見ながら確かめてください。

6つのチェックを、先に表にします。

チェック	見る場所	問題の例
1	AIボット方針のTraining	BlockやBlock on pages with adsになっている
2	AIボット方針のSearchとAgent	Searchが止まっている。広告のあるページでAgentが止まっている
3	AI Crawl ControlのCrawlers	用途の分からないクローラーがBlockになっている
4	Security rulesのCustom rules	古い独自ルールが、検索のクローラーを止めている
5	公開中のrobots.txt	GooglebotやBingbotにDisallow: /が書かれている
6	AI Crawl ControlのDirectivesとMetrics	robots.txtが読めていない。ブロックの件数が急に増えている

チェック1 Trainingが、Block系になっていないか

Configure AI bot policiesを開き、Trainingを確認します。BlockかBlock on pages with adsなら、Googlebot、Bingbot、Applebotも止まっています。

検索の流入を守りたいなら、Disallow AI TrainingかAllowに変えます。

9月15日に移行された設定は、Disallow AI Trainingになっているはずです。移行のあとで、誰かが改めてBlockを選んでいないかを確かめます。

チェック2 SearchとAgentが止まっていないか

同じ画面で、SearchとAgentを確認します。Searchがブロックになっていれば、通常の検索にも影響が出る可能性があります。

広告で収益を得ているサイトの推奨設定は、Agentが、広告のあるページでのブロックです。意図した設定かどうかを、確かめてください。

チェック3 AI Crawl Controlのクローラー一覧

AI Crawl Controlを開き、Crawlersタブを表示します。Actionの列で、Blockになっているクローラーを洗い出します。

用途の分からない名前は、各社の公式文書で調べてから判断します。Requestsの列の失敗数は、AI Crawl Controlのブロック以外の原因でも増えると、公式文書に書かれています。

チェック4 WAFのカスタムルールを見直す

Securityの中のSecurity rulesを開き、Custom rulesで絞り込みます。見るのは、次の3種類です。

• 「AI Crawl Control」という名前のルールの中身
• 過去に自社や制作会社が作った、特定のボットを止めるルール
• 既知のボット以外に確認画面を出すような、広い条件のルール

古い独自ルールが残っていると、AIボット方針を直しても、検索のクローラーが止まり続けることがあります。

チェック5 公開中のrobots.txtを開く

ブラウザで、自社ドメインのrobots.txtを開きます。Bot Preference Syncを使っていれば、Cloudflareの記述が先頭にあります。

見るのは、次の3点です。

• GooglebotやBingbotに、Disallow: /が書かれていない
• 自社で書いた既存の指定と、Cloudflareの記述が矛盾していない
• Content-signalの行があれば、意図した値になっている

Google Search Consoleが、Content-signalの行を「Syntax not understood」と報告する場合があります。Cloudflareの公式文書は、これによるクロールやSEOへの影響は観測していないと書いています。

チェック6 DirectivesとMetricsで裏付けを取る

AI Crawl Controlには、Directivesというタブがあります。2025年10月の追加時は、Robots.txtという名前でした。

公式文書によると、このタブでは、次の2つの表が見られます。

表	分かること
Robots.txt availability	ホスト名ごとのrobots.txtの取得状況。404なら作成が必要。ファイルがあるのに失敗が多いなら、前段のWAFルールを疑う
Robots.txt violations	robots.txtで禁止したパスに来たクローラー

Violationsは、いまのrobots.txtと過去のアクセスを照らして計算されます。新しくDisallowを足すと、過去のアクセスも違反として表示されます。

Metricsタブでは、日付やクローラーごとの内訳が見られます。無料プランでは、直近24時間分だけです。

AI Crawl ControlとWAFルールの関係

AI Crawl Controlでブロックしたはずなのに通る場合と、許可にしたはずなのに止まる場合があります。どちらも、WAFルールの順序で起きます。

処理の順序

公式文書によると、通信は、次の順に処理されます。

順	処理
1	WAFのカスタムルール（AI Crawl Controlのブロックを含む）
2	Cloudflareのボット対策
3	AI Crawl Controlのpay per crawl

AI Crawl Controlで1つでもブロックを選ぶと、1つのカスタムルールで実行されます。すべて許可にしている間は、カスタムルールを使いません。

許可にしたのに止まるとき

AI Crawl Controlのルールには、ブロックするクローラーしか入っていません。許可にしたクローラーも、手前にある別のルールで止まることがあります。

その場合は、AI Crawl Controlの分析には現れません。WAFのカスタムルールを見直して、意図しないルールを直します。

ブロックにしたのに通るとき

AI Crawl Controlのルールは、既存のカスタムルールの最後に追加されます。公式文書は、手前にある次のルールが、ブロックを素通りさせる場合があると説明しています。

手前にあるルール	起きること
スキップルール	WAFのカスタムルールを飛ばす
リダイレクトルール	リクエストのパスを変える
変換ルール	リクエストの中身を書き換える

対処は、AI Crawl Controlのルールを、カスタムルールの先頭に移すことです。

ルールを直接編集するときの注意

パスごとの例外を足すなど、WAF側でルールを拡張することは、公式文書で案内されています。追加した内容は、あとでAI Crawl Controlの設定を変えても、保たれます。

ただし、WAFで直接変えた内容は、AI Crawl Controlの画面には反映されません。公式文書は、通常はCrawlersタブを使い、直接の編集は、画面で足りない場合に限るよう勧めています。

robots.txtとの関係

robots.txtは意思表示、ブロックは遮断

Cloudflareの公式文書は、robots.txtを守るかどうかはクローラー側の任意で、技術的にアクセスを防ぐものではないと明記しています。守らないクローラーもいます。

一方で、AIボット方針のBlockや、AI Crawl Controlのブロックは、Cloudflareの側で通信を止めます。意思を伝える手段と、守らない相手も止める手段は、役割が違います。

Content Signalsとは

Content Signalsは、robots.txtに書く、コンテンツの使い道の宣言です。公式文書には、3つの区分が定義されています。

シグナル	意味
search	検索の索引を作り、検索結果を返すこと。AIが作る要約は含まない
ai-input	AIのモデルに内容を入力すること。回答を作るための、リアルタイムの取得など
ai-train	AIモデルの学習や追加学習

書き方の例は、Content-signal: search=yes, ai-train=noです。公式文書によると、Bot Preference Syncが管理する記述を追加するときは、この方針の説明文も一緒に入ります。

Cloudflareは、use=referenceという第4の項目も試験中です。保存と再利用の範囲を伝える項目で、現在の管理された記述には、use=referenceが入っています。

Bot Preference Syncの動き

公式文書によると、Search、Agent、Trainingのどれかがブロック系のとき、またはTrainingがDisallowのときに、管理された記述が追加されます。

公式ブログは、同期が個別のカスタムルールの細かい条件までは読まないと説明しています。例外を設けたい場合は、同期を切って、robots.txtを自分で整える道もあります。

よくある失敗

失敗1 学習を止めたくてTrainingをBlockにする

9月15日以降、TrainingのBlockは、Googlebot、Bingbot、Applebotも止めます。学習だけ断りたいなら、Disallow AI Trainingを選んでください。

失敗2 古い解説のとおりにBlock AI botsを探す

旧Block AI botsは、2026年9月15日で非推奨になりました。古い記事の画面説明を、そのまま信じないようにします。

失敗3 ドメインを追加したときの推奨設定を見落とす

9月15日以降に追加したドメインには、広告収益の有無で選ばれた推奨設定が入ります。追加した直後に、AIボット方針を開いて確かめてください。

失敗4 robots.txtだけで止めた気になる

robots.txtに強制力はありません。守らないクローラーには、AI Crawl Controlのブロックを併用します。

失敗5 Bingにも学習拒否が伝わると思い込む

Disallow AI Trainingを選んでも、2027年初めの対応までは、Bingへ学習拒否はrobots.txt経由で伝わりません。BingのNOARCHIVEタグなどの手段も、あわせて確かめてください。

Pay per crawlとPay Per Use

Pay per crawlは、AIクローラーにクロールの対価を請求する仕組みです。公式文書によると、支払う意思を示したクローラーにはページを返し、そうでなければ、価格つきの402 Payment Requiredを返します。

2026年10月時点で、クローズドベータです。課金できるプランは、Bot Managementを契約したEnterpriseと案内されています。

2026年9月30日には、AIの利用量に応じて支払う、Pay Per Useのベータが発表されました。買い手が申し出た条件を、サイトの側が受けるかどうかを選びます。

どちらも、引用されることを目的にした設定とは方向が違います。多くの中小企業は、動向を見守る段階でよいと筆者は考えます。

よくある質問

Q1. Freeプランでも、AIボットの設定はできますか。

できます。2026年7月1日から、Freeを含む全顧客が、Search、Agent、Trainingを設定できます。

AI Crawl Controlも全プランで使えます。無料プランでは、ユーザーエージェントをもとに識別し、Metricsは直近24時間分です。

Q2. 9月15日より前に追加したドメインも、新しい推奨設定に変わりましたか。

公式の発表で、新しい推奨設定の対象とされているのは、新規ドメインです。既存のドメインは、設定が新しい分類へ自動で移されました。

いずれの場合も、いまの設定は、画面で確かめてください。

Q3. Disallow AI Trainingにすると、AI検索に引用されなくなりますか。

Cloudflareの分類では、索引作りはSearch、その場での取得はAgentにあたり、Trainingを断っても引用の経路は残ります。OpenAIの文書も、検索用のOAI-SearchBotと学習用のGPTBotを、別々に設定できると説明しています。

ただし、各社の仕様次第なので、影響がゼロとは言い切れません。

Q4. 自分で書いたrobots.txtは、Bot Preference Syncで上書きされますか。

上書きはされません。公式文書によると、サイトのrobots.txtが取得できる場合、Cloudflareの記述は、既存の内容の前に追加されます。

robots.txtが存在しない場合は、Cloudflareが新しく作って返します。

Q5. robots.txtを守らないクローラーには、どう対応しますか。

AI Crawl Controlで、該当のクローラーをBlockにします。名乗りが偽物の疑いがあれば、先に身元を確かめてください。

方法は、AIクローラーのなりすましの確認で説明しています。

まとめ

CloudflareのAIクローラー設定は、次の順に確かめます。

1. Configure AI bot policiesで、Trainingが、Block系になっていないか見る
2. SearchとAgentが、意図せず止まっていないか見る
3. AI Crawl ControlのCrawlersで、Blockのクローラーを洗い出す
4. WAFのカスタムルールに、古い独自ルールが残っていないか見る
5. 公開中のrobots.txtを開き、GooglebotやBingbotを禁止していないか見る
6. DirectivesとMetricsで、robots.txtの取得状況とブロックの件数を見る

引用されたいなら、SearchとAgentは止めません。学習だけ断るなら、Disallow AI Trainingを選びます。

Blockは、検索のクローラーまで止めます。

参照した公式文書

2026年10月18日に確認しました。

• Cloudflare Docs、Block AI Bots（developers.cloudflare.com/bots/additional-configurations/block-ai-bots/）
• Cloudflare Docs、robots.txt setting（developers.cloudflare.com/bots/additional-configurations/managed-robots-txt/）
• Cloudflare Docs、Verified bots（developers.cloudflare.com/bots/concepts/bot/verified-bots/）
• Cloudflare Docs、AI Crawl Controlの始め方、クローラーの管理、WAFとの関係、Directives、Pay per crawl
• Cloudflare Changelog、2025年8月27日と2025年10月21日の投稿
• Cloudflare Blog、2026年7月1日、8月21日、9月15日、9月30日の投稿
• Google検索セントラル、Googleの一般的なクローラー（Google-Extended）
• OpenAI、クローラーの文書（developers.openai.com/api/docs/bots）

ページを増やしても問い合わせが来ないなら、原因はページの外にあります。その場合は、下の入口からご相談ください。