Claudeのウェブ検索に引用されるには AnthropicのクローラーとClaude-SearchBotを理解して、事業者ができること

ClaudeにはWeb検索の機能があり、回答の根拠になったページを出典として示します。自社のサイトが、Claudeの回答の中で出典として紹介される可能性があるということです。

一方でAnthropicは、役割の異なる3種類のボットを公開しています。robots.txtの書き方を誤ると、学習を拒否したつもりが、検索での表示の機会まで減らしてしまうおそれがあります。

この記事では、Anthropicの公式情報にもとづいて、次の点を整理します。

• ClaudeのWeb検索が、回答で出典をどう示すか
• ClaudeBot、Claude-User、Claude-SearchBotの役割の違い
• robots.txtでの許可と拒否の書き方、拒否した場合の影響
• 事業者が取り組みたい対策と、自社の表示状況の確かめ方

内容は、Anthropicのヘルプセンター、開発者向け文書、公式ブログを、2026年10月17日に開いて確かめたものです。公式に書かれていないことは、推測と明記します。

先に結論 公式が明言していること

最初に、公式が書いていることと、書いていないことを表にします。

項目	公式の記載	この記事での扱い
ボットの種類	3種類(ClaudeBot、Claude-User、Claude-SearchBot)	事実として書く
ClaudeBot	モデルの学習に使われうる情報を集める。制限すると、今後の情報を学習データから除外する意思表示になる	事実として書く
Claude-UserとClaude-SearchBot	制限すると、検索での表示の機会が減る可能性がある	事実として書く
Webの回答	回答には毎回、出典の引用が付く	事実として書く
引用される条件	こうすれば引用される、という基準は書かれていない	公式の仕組みからの推測と明記する

「学習に使われたくない」と「検索に出たい」は、別の判断として扱えます。それぞれに対応するボットが、別々に用意されているからです。

全体の流れを図で見る

質問から回答までを、4つの段階に分けて図にしました。

事業者が関われるのは、主に「Webを検索する」と「ページを取得する」の段階です。ここで自社のページが読める状態になっていることが、出典になるための前提です。

ClaudeのWeb検索とは

提供の経緯と範囲

Anthropicは2025年3月20日に、ClaudeがWebを検索して、新しい情報にもとづく回答を出せるようになったと発表しました。当初は、米国の有料プランの利用者向けの先行提供でした。

同じ公式ブログには、2025年5月27日付の更新として、Web検索が世界中のすべてのClaudeのプランで使えるようになったと書かれています。

2026年10月17日時点で、無料のプランを含む個人向けのプランでも、TeamやEnterpriseといった組織向けのプランでも、Web検索を使える状態です。

組織向けのプランでは、管理者が機能を有効にしている必要があります。

有効にする方法

ヘルプセンターの「Enable and use web search」には、次の手順が案内されています。

1. チャット画面の左下にある「+」ボタンを押す
2. 表示されたメニューから「Web search」を選ぶ。オンになると、チェックマークが付く
3. 不要なときは、もう一度「Web search」を押すとオフになる

TeamやEnterpriseのプランでは、まずOwnerまたはPrimary Ownerが、組織の設定の「Capabilities」で、Web検索をワークスペース全体で有効にします。そのあと、各メンバーがチャットごとに切り替えます。

ヘルプには、新しいClaudeの画面ではWeb検索の切り替えがなく、Claudeが役に立つと判断したときに検索するとも書かれています。お使いの画面によって、操作が異なることがあります。

回答で出典がどう示されるか

ヘルプには、Webを検索した回答には、毎回、引用が付くと書かれています。利用者は、情報源を自分で確かめられます。

具体的には、回答の中に次の3つが含まれるとされています。

• 情報源への直接の引用
• さらに読むための、情報源へのリンク
• 必要に応じた、関連する引用

URLを指定した取得

Web検索がオンのとき、利用者が貼り付けた特定のURLの内容を、Claudeが取得して読むこともできます。ヘルプでは、この機能を「web fetch」と呼んでいます。

自社のURLを貼り付けて質問する場合は、検索で見つけてもらえるかとは別の動きになります。

検索の提供元について

ヘルプには、画像の検索結果について、Bingの提供と明記されています。一方、通常の文章の検索がどの検索エンジンの仕組みを使うのかは、2026年10月17日時点で確認したAnthropicの公式ページに記載がありませんでした。

この記事では、そこを断定しません。

Anthropicのボット3種類と役割の違い

3つのボットの役割

Anthropicのヘルプセンターの記事「Does Anthropic crawl data from the web, and how can site owners block the crawler?」には、3種類のボットが紹介されています。

画面には、2026年4月8日の日付が表示されています。

それぞれの役割と、制限した場合に公式が説明している影響を表にします。

ボット	役割(公式の説明の要約)	制限した場合の影響(公式の説明の要約)
ClaudeBot	生成AIモデルの有用性と安全性を高めるため、学習に使われうるWebの情報を集める	そのサイトの今後の情報を、AIモデルの学習データから除外する意思表示になる
Claude-User	Claudeの利用者が質問したときに、答えるためにWebサイトへアクセスする	利用者の質問に応じた取得ができなくなり、利用者が指示するWeb検索での表示の機会が減る可能性がある
Claude-SearchBot	利用者向けの検索結果の質を高めるため、Webを巡回する	検索のための索引づくりができなくなり、検索結果での表示や正確さが下がる可能性がある

学習用と、検索や回答用は別のボット

大事なのは、学習用のClaudeBotと、検索や回答用のClaude-User、Claude-SearchBotが、別のボットに分かれていることです。

公式は、サイト運営者に透明性と選択肢を提供するために、役割の異なるボットを使い分けていると説明しています。

robots.txtでは、ボット名ごとに指示を書けます。目的に応じた使い分けができるということです。

使い分けの例

たとえば、自社の文章をAIの学習には使ってほしくないが、Claudeの検索で出典として紹介される機会は残したい場合を考えます。

この場合は、ClaudeBotだけを拒否し、Claude-UserとClaude-SearchBotは許可する、という使い分けが考えられます。

ただし、これは公式がすすめている設定とは限りません。ボットの役割の説明から考えられる使い方です。

公式記事の設定例は、ClaudeBotだけです。

公式が示しているその他の方針

同じ記事には、巡回に関する方針も書かれています。

巡回の基本方針

記事には、次の4つの原則が書かれています。

• 情報の収集は透明であること。上の3つのボットを使う
• 巡回は、邪魔にならないこと。同じドメインを巡回する速さに気をつけ、適切な場合にはCrawl-delayを尊重する
• robots.txtにある、巡回しないという合図を守る
• CAPTCHAのような、巡回を妨げる技術を回避しない

IPアドレスでの遮断は確実な方法にならない

記事は、巡回を制限するには、robots.txtを変更する必要があると説明しています。AnthropicのボットのIPアドレスを遮断する方法は、ボットがrobots.txtを読めなくなるため、制限が正しく続く保証にならない、とも書かれています。

つまり、拒否したいときも、robots.txtを使うのが公式の案内です。

送信元のIPアドレスの一覧

記事には、送信元のIPアドレスの一覧が公開されていて、この一覧に含まれるIPアドレスからのアクセスは、Anthropicからのものだと書かれています。

一覧は、https://claude.com/crawling/bots.json で公開されています。

2026年10月17日に開いたところ、作成日時(creationTime)は2026年10月7日で、IPアドレスの範囲(ipv4Prefix)が並ぶ形式でした。

内容は更新されます。確認のたびに、最新の一覧を開いてください。

問い合わせ

ボットの動作について質問があるとき、または不具合が疑われるときは、記事に書かれた連絡先のメールアドレスに連絡するよう案内されています。

その際は、対象のドメインを含むメールアドレスから送ると、確認がしやすいと書かれています。

方針	公式の記載	事業者が気をつける点
制限の方法	robots.txtを変更する	サブドメインごとにrobots.txtを置く
IPアドレスの遮断	制限が続く保証にならない	拒否にはrobots.txtを使う
巡回の頻度	Crawl-delayを、適切な場合に尊重する	負荷が気になるときは、遮断より頻度の調整を考える
本物の確認	公開された一覧のIPアドレスから来ていれば、Anthropicのもの	確認のたびに最新の一覧を見る
問い合わせ	記事内の連絡先へ、対象のドメインのメールアドレスから	状況を記録してから連絡する

robots.txtでの許可と拒否の書き方

robots.txtは、サイトの最上位に置くテキストファイルです。たとえば「自社ドメイン/robots.txt」で開けます。

公式の記事は、拒否したいサブドメインごとに、robots.txtを用意するよう案内しています。たとえばwwwとshopのように分かれている場合は、それぞれに置きます。

以下に、目的別の設定例を示します。「User-agent」でボット名を指定し、「Disallow」で拒否する範囲を書きます。

「Disallow: /」は、サイト全体の拒否を意味します。

例1 学習用だけを拒否し、検索や回答用は許可する

“`
User-agent: ClaudeBot
Disallow: /

User-agent: Claude-User
Allow: /

User-agent: Claude-SearchBot
Allow: /
“`

robots.txtの一般的な仕組みでは、名前を指定していないボットは許可の扱いです。下の2つは省略できますが、意図を共有するために明示しておくのも一つの方法です。

例2 Anthropicのすべてのボットを拒否する

“`
User-agent: ClaudeBot
Disallow: /

User-agent: Claude-User
Disallow: /

User-agent: Claude-SearchBot
Disallow: /
“`

この設定では、公式の説明にあるとおり、Claudeの検索での表示の機会が減る可能性があります。学習にも検索にも使われたくないという方針が明確な場合に限って選びます。

例3 一部のディレクトリだけを拒否する

会員ページのように、特定のディレクトリだけを除外したい場合は、次のように書きます。これはrobots.txtの一般的な書き方です。

“`
User-agent: Claude-SearchBot
Disallow: /members/

User-agent: Claude-User
Disallow: /members/
“`

robots.txtは、ボットへのお願いです。アクセスそのものを防ぐ仕組みではありません。

見られては困る情報は、ログインなどで保護してください。

例4 巡回の頻度を抑える

サーバーの負荷が気になる場合、公式は、拒否のほかに頻度を抑える方法も案内しています。AnthropicはCrawl-delayという標準外の拡張に対応していて、公式の記事には次の例が示されています。

User-agent: ClaudeBot
Crawl-delay: 1

公式の例は、ClaudeBotに対するものです。Claude-UserやClaude-SearchBotにCrawl-delayが効くかどうかは、明記されていません。

目的	設定の方向	公式の記載との関係
学習には使われたくない、検索には出たい	ClaudeBotだけを拒否する	役割の説明から考えられる使い分け(設定例はClaudeBotのみ)
すべて使われたくない	3つとも拒否する	検索での表示の機会が減る可能性があると公式が説明
一部のページだけ除外したい	ボットごとにDisallowで範囲を指定する	robots.txtの一般的な書き方
負荷を下げたい	Crawl-delayを書く	公式の例はClaudeBotのみ

設定するときの注意点

「User-agent: *」と「Disallow: /」の組み合わせ

この組み合わせは、名前を指定していないボットをすべて拒否します。開発中の設定が、公開後も残っていることがあります。

自社のrobots.txtを開いて、この2行が並んでいないか確かめてください。

サーバーやセキュリティサービスの設定

公式はrobots.txtでの制御を勧めています。サーバーやセキュリティサービスの側で、AI関連のボットをまとめて遮断する設定が有効になっていると、robots.txtで許可していても、アクセスできない場合があります。

遮断の設定は、管理会社に確認するのが早い方法です。

変更したあとの確認

変更したら、ブラウザでrobots.txtを開き、意図どおりに書けているかを確かめます。

さらに、ログで、許可したボットのアクセスが記録されているかを、数日から数週間のあいだ見ておくと安心です。

管理会社に頼むときの聞き方

自分で設定を触れない場合は、次のように頼むと伝わります。

「ClaudeBotは拒否し、Claude-UserとClaude-SearchBotは許可する設定にしてください。サーバーやセキュリティの側で、AIボットを一括で遮断する設定がないかも教えてください。」

返ってきた答えと設定した日付は、記録しておきます。

サブドメインごとに設定する理由

公式の記事は、拒否したいサブドメインごとに、robots.txtを置くよう案内しています。これは、robots.txtがホスト名ごとに読まれるためです。

wwwのサイトだけに設定しても、shopのような別のサブドメインには効きません。

サイトの構成	robots.txtを置く場所	注意点
会社のサイトだけ	最上位に1つ	開発中の設定が残っていないか確認する
会社のサイトと、ネットショップが別のサブドメイン	それぞれの最上位に1つずつ	どちらか片方だけだと、もう片方には効かない
ブログを別のサブドメインで運用	ブログ側にも1つ	ブログが出典になりやすい場合は、特に確認する

Claudeの検索で出典に選ばれるために事業者ができること

公式が明言しているのは、ボットの許可と拒否、そしてその影響までです。以下の対策の多くは、こうすれば引用される、と公式が書いているものではありません。

検索の仕組みと、引用の表示のされ方から考えられる取り組みです。確からしさを、表にしておきます。

項目	手がかりになる公式の記載	確からしさ
ボットを拒否しない	Claude-UserとClaude-SearchBotを制限すると、表示の機会が減る可能性がある	公式の記載から直接分かる
質問に一文や一段落で答える	回答は記述ごとに出典を示し、関連する引用を載せる	推測(公式は明言していない)
情報を最新に保つ	Web検索は新しい情報が必要な質問に答える機能	推測
テキストで読める形にする	ボットが取得して読む	推測
自社にしか書けない情報を出す	複数の情報源から回答を作る	推測

1 まず取得できる状態を確保する

公式の説明から直接言える前提条件は、次の2点です。

• Claude-UserとClaude-SearchBotを、robots.txtで拒否していないこと
• サーバーやセキュリティの設定で、これらのボットを遮断していないこと

取得できないページは、出典として扱われる前提が欠けていると考えられます。

ただし、取得できる状態にしても、出典に選ばれるかどうかは別の問題です。

2 質問に対する答えを、ページの中ではっきり書く

Claudeの回答では、記述ごとに出典が示され、関連する引用が載ることもあります。開発者向けの仕様でも、引用ごとに、出典ページの本文の一部が最大150文字まで返されます。

このことから、一文や一段落で質問への答えが完結している文章は、引用元として使われやすいと考えられます。公式は明言していません。

• 見出しを、お客様が実際にする質問に近い形にする(「対応するエリアはどこか」など)
• 見出しの直後の一文で、結論を書く
• 「当社」「こちら」だけに頼らず、会社名、サービス名、地域名を文中に入れる

3 事実の情報を正確に、最新の状態に保つ

ClaudeのWeb検索は、最新の情報が必要な質問に答えるための機能です。営業時間、所在地、対応するサービス、問い合わせの方法といった基本情報が古いままだと、誤った内容が引用されるおそれがあります。

• 会社概要、サービス紹介、よくある質問のページを、定期的に見直す
• 更新日を、ページに書く
• 同じ情報が、サイト内の複数のページで食い違っていないか確かめる

開発者向けの検索結果には、ページの更新時期を示す項目(page_age)が含まれます。どの程度重視されるかは、公式に説明されていません。

4 本文をテキストで読める形にする

重要な情報が画像の中の文字だけだったり、PDFにしか載っていなかったりすると、ボットが読み取りにくい場合があると考えられます。

料金の考え方や対応エリアなどは、HTMLのテキストとしても載せておくのが安全です。

ページの表示にJavaScriptでの読み込みが欠かせない構成の場合は、ボットが本文を取得できているかを、あとで見るログで確かめてください。

5 一次情報を載せる

公式は明言していませんが、どこにでもある一般論より、自社ならではの情報のほうが、出典に選ばれる理由になりやすいと考えられます。

• 実際の手順や、現場での注意点
• 地域の事情
• 自社で集めた調査の結果(方法と時期を明記する)

開発者向けAPIでの扱い(参考)

引用は常に有効

Claudeを自社のシステムに組み込む開発者向けには、APIの「web search tool」が用意されています。公式の文書には、この機能では引用が常に有効で、引用ごとに出典ページのURL、タイトル、引用した本文(最大150文字)が返されると書かれています。

さらに、APIの出力をそのまま利用者に見せる場合は、元の情報源への引用を含める必要があると書かれています。

検索対象の限定と除外

開発者の側で、検索の対象にするドメインを限定したり、除外したりする設定もあります。

そのため、Claudeを組み込んだ他社のサービスでは、その設定によって、自社のサイトが検索の対象外になることもあり得ます。

項目	公式の文書の記載	事業者にとっての意味
引用	常に有効。URL、タイトル、本文の一部が返る	自社のページが出典として表示される可能性がある
引用の表示	利用者に直接見せる場合は、元の情報源への引用が必要	出典のリンクが利用者に届く
ドメインの指定	開発者が、対象のドメインを限定、除外できる	他社のサービスでは、自社が対象外のことがある
更新時期	結果にpage_ageの項目がある	更新日を載せる理由になる

回答の内容について削除を求めたいとき

ClaudeのWeb検索のヘルプには、コンテンツの削除を求める場合の窓口として、「Report, block, and remove content from Claude」のページが案内されています。

どのような場合にどの手続きが使えるかは、そのページで確かめてください。連絡する前に、回答の文面、日付、出典のURLを記録しておくと、状況を伝えやすくなります。

自社の表示状況を確かめる方法

対策の効果を確かめるには、Claudeで実際に質問することと、サーバーのログでボットのアクセスを確認することを、組み合わせます。

方法1 Claudeで実際に質問する

手順は次のとおりです。

1. claude.aiにログインし、新しいチャットを開く
2. 「+」ボタンから「Web search」がオンになっているか確かめる。切り替えがない新しい画面では、そのまま進む
3. 見込み客がしそうな質問を入力する
4. 回答に表示される出典とリンクを見て、自社のサイトが含まれているか、どのページが引用されているか、内容が正しいかを記録する
5. 同じ質問を、時期を変えて繰り返す

質問の例は、次のとおりです。

• 「〇〇市で、△△に対応している業者を教えてください」
• 「(自社のサービス名)の特徴を教えてください」
• 「(業界の課題)を解決する方法を、参考になるサイトとあわせて教えてください」

確かめるときの注意点

回答は、毎回同じとは限りません。同じ質問でも、出典が入れ替わることがあります。

1回の結果で判断せず、複数回、複数の質問で傾向を見てください。

地域によって結果が変わることもあります。ヘルプには、IPアドレスから推定したおおよその位置を使うことがあると書かれています。

自社のURLを直接貼り付けて質問した場合は、Claudeがそのページを取得して読む動き(web fetch)になります。検索で見つけてもらえるかの確認とは別物ですが、ページの内容が正しく読み取られるかを確かめる目的には使えます。

無料のプランでは、利用上限が5時間ごとに戻ります。Web検索とweb fetchも、この上限に含まれます。

記録の表

確かめた結果は、表にまとめます。

日付	質問	出典に自社が出たか	引用されたページ	内容の正誤
記入する	記入する	あり/なし	URLを書く	正しい/古い/誤り

方法2 サーバーのログでボットのアクセスを確認する

サーバーのアクセスログには、アクセスしてきたプログラムの名前(ユーザーエージェント)が残ります。ここに、ボット名が含まれているかを調べます。

レンタルサーバーでは、管理画面からログをダウンロードできることが多いです。コマンドが使えるサーバーなら、次のように数えられます。

ログの場所はサーバーによって異なります。

grep -c "ClaudeBot" access.log
grep -c "Claude-User" access.log
grep -c "Claude-SearchBot" access.log

ログの見方の目安は、次のとおりです。

ログの状況	考えられること
Claude-SearchBotのアクセスがある	検索のための情報登録の対象として、巡回されていると考えられる
Claude-Userのアクセスがある	利用者の質問に応じて、自社のページが取得されたと考えられる。取得されたページから、どんな質問で参照されたかを推測できる
ClaudeBotのアクセスがある	学習用に巡回されている。拒否している場合は、robots.txt以外へのアクセスが続いていないか確認する
ステータスコードが403	セキュリティの設定で、ボットを遮断している可能性がある

ステータスコードは、応答の結果を示す番号です。200は成功、403は拒否、404はページがないことを表します。

本物のAnthropicのボットか確かめる

ユーザーエージェントは、名乗るだけなら誰でも偽装できます。公式は、送信元のIPアドレスが公開された一覧に含まれていれば、Anthropicからのアクセスだと案内しています。

一覧に含まれないIPアドレスからのアクセスは、ボット名を名乗る別のプログラムかもしれません。この一覧は、本物かどうかの確認に使います。

拒否には、robots.txtを使います。

よくある質問

Q. ClaudeBotを拒否すると、Claudeの検索に出なくなりますか？

公式の記事は、ClaudeBotを制限した場合の影響を、今後の情報を学習データから除外する意思表示になる、と説明しています。

検索や回答のためのアクセスは、Claude-UserとClaude-SearchBotという別のボットが担っています。ClaudeBotの説明の中で、検索での表示への影響には触れられていません。

Q. Claude-SearchBotを拒否すると、どうなりますか？

公式は、検索のための索引づくりができなくなり、検索結果での表示や正確さが下がる可能性があると説明しています。

引用されたい場合は、拒否しないでください。

Q. 小さな会社でも、出典に選ばれますか？

会社の規模について、公式は何も述べていません。選ばれるかどうかは、質問との合い方や、ページの読みやすさなどの要素で決まると考えられます。

小さな会社にできるのは、読める状態にして、質問に答える形で、正確な情報を書くことです。

Q. 自社の名前が間違って答えられています。

その場合は、出典を開いて、原因を切り分けるところから始めます。自社のページの古い記述が出典になっていることもあります。

古い情報が見つかったら、更新するか、終了したことを明記します。

Q. ログにボットが出ません。

アクセスがない理由は、複数考えられます。robots.txtで拒否している、サーバーやセキュリティの設定で遮断している、まだ巡回されていない、などです。

まず、robots.txtと遮断の設定を確かめ、そのあとは日をあけて、ログを見直してください。

まとめ

ClaudeのWeb検索は、2026年10月17日時点で、すべてのClaudeのプランで使えます。回答には出典が示されます。

押さえておきたい点は次のとおりです。

• Anthropicのボットは3種類で、ClaudeBotは学習用、Claude-Userは利用者の質問に応じた取得、Claude-SearchBotは検索のための巡回と、役割が分かれている
• 公式は、Claude-UserやClaude-SearchBotを制限すると、検索での表示の機会が減る可能性があると説明している
• 学習には使われたくないが、検索には出たい場合は、ClaudeBotだけをrobots.txtで拒否する使い分けが考えられる
• robots.txtはサブドメインごとに設定し、サーバーやセキュリティの設定で一括遮断していないかも確認する
• 引用されやすくする工夫は、公式が明言した条件とは別の、考え方として取り組む
• 表示状況は、Claudeで実際に質問して出典を記録する方法と、ログでボット名とIPアドレスを確認する方法を組み合わせて把握する

今日できる点検

順番	やること	確かめる場所
1	robots.txtで、Claude-UserとClaude-SearchBotを拒否していないか見る	自社ドメイン/robots.txt
2	サーバーやセキュリティの設定で、AIボットを遮断していないか見る	管理画面、または管理会社
3	サブドメインごとに、robots.txtを確認する	各サブドメインのrobots.txt
4	基本情報のページに、更新日を書く	自社サイトの各ページ
5	質問を3つ決め、Claudeで出典を記録する	claude.ai

まず自社のrobots.txtを確かめ、見込み客がしそうな質問をClaudeに投げかけるところから始めてください。

ページを増やしても問い合わせが来ないなら、原因はページの外にあります。その場合は、下の入口からご相談ください。