AIが検索して答えるとき、読んだページのうち、実際に出典として示されるのはどれだけでしょうか。この問いを、約1.4万件の実際の会話記録で測った論文があります。
2025年6月に公開された「The Attribution Crisis in LLM Search Results」です。
この記事は、その論文を原文から読み、要点を整理します。読んだページと引用したページの差、サービスごとの違い、日本の事業者が受け取るときの注意点を扱います。
数値は、論文の表と本文から拾いました。
合同会社謙虚は、3つのドメインを並行して運用し、何を変えると数字が動くかを測り続けています。この論文は、AIに読まれることと、AIに出典として示されることが別の話だと数字で示しており、自社の数字の見方を確かめるために読みました。
結論：3行で言うと
- 調べたAPI経由のモデルのうち、GeminiとSonarは、読んだページの一部しか出典に挙げていません。Geminiは回答の92%で引用がなく、Sonarは回答1件あたりの中央値で10ページを読み、5ページを挙げていました
- この差の大きさは、サービスの設計で大きく変わります。同じ質問での比較では、読んだページ1つあたりに増える引用が0.19から0.45まで開きました
- GPT-4oは差が小さく見えますが、論文は読んだページの記録そのものが絞られている可能性を指摘しています。差が小さいことを、丁寧に引用している証拠とは読めません
この論文の基本情報
| 項目 | 内容 |
|---|---|
| 題名（原題） | The Attribution Crisis in LLM Search Results（副題：Estimating Ecosystem Exploitation） |
| 著者 | Strauss、Yang、O’Reilly、Rosenblat、Moure（5人。所属は、AI Disclosures Project（社会科学研究評議会）、ユニバーシティ・カレッジ・ロンドンの研究所、ウォータールー大学、出版社。出版社名は省きます） |
| 公開日 | 2025年6月27日（arXivの要旨ページの表示。第1版のみ） |
| arXiv番号 | 2508.00838（分野はcs.DL、デジタル図書館） |
| 掲載・採択状況 | arXivのプレプリントです。要旨ページのコメント欄は空で、PDFの冒頭は学会名のない体裁です。査読を経た掲載先は、私が確認した範囲では未確認です |
| 種類 | 実際の会話記録を統計で分析した研究（実験ではなく、集まったデータの観察） |
| データ・コード | コードとデータの公開先が、論文の冒頭の注に記載されています |
論文はこちらで読めます。arXiv（2508.00838）、関連DOI。
この論文が答えた問い
検索機能つきのAIは、回答のために読んだウェブページのうち、どれだけを出典として示しているのか。その差は、サービスによってどう違うのか。
著者らは、読んだページと引用したページの差を「引用の差」（原題はattribution gap）と呼びます。読まれたのに出典として示されないページが多いほど、ページを作った側に見返りが届きにくくなる、というのが論文の問題意識です。
この記事では、価値判断の強い言葉は使わず、数字として読めるところだけを扱います。
どうやって調べたのか
データは、AIの回答を2つ並べて人が比べる公開サイトが集めた、検索つきAIの会話記録です。論文は、このデータの説明として、Search Arenaに関するブログ記事を挙げています。
同じ公開サイトの検索データを扱った論文は、Search Arenaの論文の解説で扱いました。
そちらは、引用が多い回答が人に好まれるかを調べた論文です。この論文は、AIの側が読んだページと引用したページの差を調べています。
| 項目 | 内容 |
|---|---|
| データ | 約1.4万件の会話。約7,000の質問に、2つのモデルが答えた記録。2025年3月（44%）と4月（56%）。整理後の分析対象は13,929件 |
| 比べた対象 | 実際のサービスの画面ではなく、各社が提供するAPI（プログラムから使う窓口）を通した11種類のモデル。GPT-4o系4種、Sonar系5種、Gemini系2種 |
| 質問の分類 | 12の話題。分類は、AIモデル（o4-mini）が行いました |
| 読んだページ | 検索の記録（ログ）に出てくるURLのうち、重複を除いたもの。論文は、記録に載ったものは提供元が関連ありと判断済みとみなしました |
| 引用したページ | 回答の中に出るURLや番号つきの参照のうち、検索の記録に対応するもの。記録にない参照は除きました |
| 引用の差 | 読んだページの数から、引用したページの数を引いた値 |
統計の方法は、ハードル型の負の二項回帰です。差がゼロかどうかと、差がある場合の大きさを、2段階に分けて推定します。
もう1つは、同じ質問に2つのモデルが答えた組を使う比較です。相手のモデルより読んだページが1つ多いとき、引用が相手よりいくつ多くなるか（論文の呼び名は引用の効率）を、モデルごとに出しています。
結果
読んだページと引用の実数
| 指標（中央値または件数） | GPT-4o系 | Gemini系 | Sonar系 |
|---|---|---|---|
| 分析対象の回答数 | 5,272 | 2,394 | 6,263 |
| 読んだページ数（中央値） | 2 | 4 | 10 |
| 引用したページ数（中央値） | 2 | 0 | 5 |
| 引用の差（中央値） | 0 | 4 | 5 |
| 引用がゼロの回答 | 1,309件（約25%） | 2,198件（約92%） | 663件（約11%） |
| ページを1つも読んでいない回答 | 1,242件（約24%） | 817件（約34%） | 120件（約2%） |
出典は論文の表1です。割合は、件数を回答数で割った概算です（例：2,198÷2,394）。
- 全体では、回答の15.6%がページを1つも読まず、30%が引用なしでした
- Geminiは、34%の回答で検索の記録にページがなく、92%の回答で引用がありませんでした
- Sonarは、読む量が多く、引用もGeminiより多い一方で、差は中央値で5ページでした
差の期待値（モデルによる推定）
話題を「時事・事実の確認」に、検索結果の件数を5件、回答の長さを2,089文字に揃えた推定値です。
| 指標 | GPT-4o系 | Gemini系 | Sonar系 |
|---|---|---|---|
| 差が1ページ以上ある確率 | 10.5% | 70.3% | 99.3% |
| 差の期待値（1問あたり） | 0.18ページ | 3.04ページ | 3.12ページ |
| 95%信頼区間 | 0.15〜0.23 | 2.80〜3.28 | 2.99〜3.25 |
出典は論文の表2です。信頼区間は、繰り返し計算（1,000回）で求めた範囲です。
- GeminiとSonarは、1問あたり約3ページが読まれて引用されない、という推定でした
- 差がある場合について、読んだページが1ページ増えるごとに、引用されないページの期待数は約13%増えました（論文の表3の係数から）
- 同じく差がある場合について、回答の長さが2倍になると、差は約11%小さくなりました
- 話題ごとの推定値（付録の表5）の幅は、Geminiで2.1〜3.5、Sonarで3.1〜3.9、GPT-4oで0.11〜0.35でした。論文は、この傾向はどの話題でも一貫していると述べています
同じ質問での比較：引用の効率
同じ質問に答えた相手のモデルより、読んだページが1つ多いときの、引用の増え方（論文の表6）です。
| モデル | 増える引用の数 |
|---|---|
| Sonar Reasoning Pro（高設定） | 0.447 |
| Sonar Reasoning | 0.445 |
| Gemini 2.0 Flash（検索連動） | 0.427 |
| GPT-4o（高設定・位置情報つき） | 0.426 |
| GPT-4o（高設定） | 0.389 |
| Sonar（標準） | 0.339 |
| Gemini 2.5 Pro（検索連動） | 0.312 |
| GPT-4o（標準） | 0.264 |
| GPT-4o mini | 0.251 |
| Sonar Pro | 0.200 |
| Sonar Pro（高設定） | 0.191 |
- 最も低い0.19と最も高い0.45の差は、約0.26です。同じ1ページを読んでも、引用に変わる量が2倍以上違いました
- 同じ提供元の中のばらつきは、提供元どうしのばらつきの約8倍でした。ただし、比べた係数は11個だけで、提供元ごとの差は統計的に有意ではありませんでした（論文の脚注の検定でp=0.88）
- GPT-4oに国コードを渡す設定では、効率が約10%上がりました（0.39から0.43）。論文は、理由は分からないと書いています
論文自身が書いている限界
論文の「限界」の段落は、次の2点です。
- 引用の正確さや関連の強さは、未検証です。検索の記録にない引用を除いただけです
- AIが読んでよい権限があったか（利用許諾の違反）は、調べていません
本文のほかの箇所にも、次の注意書きがあります。
- GPT-4oの検索の記録は、ほかより強く絞られているようです。引用したページ中心にしか載せていない可能性があり、差が小さく測られている恐れがあります
- 脚注には、OpenAIの検索を画面で使うと、限られた試行でも読むページがずっと多く見えた、という記述があります
原文を読んで気づいた点
ここからは、論文が書いていない点を、私が気づいた範囲で挙げます。
日本語での検証は、この論文に見当たりません。
質問の言語の分析は、そもそも載っていません。同じ公開サイトのデータを扱ったSearch Arenaの論文では、日本語は全体の2.8%でした。
ただしこれは別の論文の数字で、この論文の標本の割合とは、別の可能性があります。
実際のサービスの画面ではなく、APIを通した結果です。
画面で見える引用の表示とは、仕組みが違う可能性があります。論文自身が、OpenAIの画面ではもっと多く読んでいるように見えたと注記しています。
評価は自動の集計で、人による判定は見当たりません。
人が回答や引用を読んで判定したという記述は、見当たりません。話題の分類もAIモデルが行いました。
査読の有無は、未確認です。
arXivのプレプリントで、掲載先は書かれていません。
「読んだページ」は、記録に載ったURLです。
論文は、記録に載ったURLを、すべて関連ありと扱っています。実際に回答の内容に使われたかは、未確認のままです。
数字の書き方に、細かなずれがあります。
- Sonarの引用について、要旨は「3〜4ページ」、表1は中央値5ページです。差の推定値3.12は、検索結果を5件に揃えた条件の値で、Sonarが実際に読む10ページとは、条件が別です
- 結論の節は、Sonarが読むページを「約1ダース」と書き、要旨と表1の「約10」と異なります
- GPT-4oの差の期待値は、表2で0.18、図1では0.19です
- 政策の節の「ショッピングの質問で差が76%大きい」という記述は、付録の表5と合いません。ショッピングはGPT-4oで0.35、Geminiで3.51、Sonarで3.66で、Sonarの最大は教育の3.88です。この記事では76%を使っていません
この記事では、表の数字を優先しました。
この論文から、言えること・言えないこと
| 言えること | 言えないこと |
|---|---|
| 2025年春のAPI経由の記録では、読んだページより引用したページが少ない回答が、GeminiとSonarに多かった | いまのサービスや、画面で使う場合も同じ結果になること |
| Geminiの回答の約92%に、記録上の引用がなかった | 引用のない回答で、自社のページが読まれたかどうか（どちらとも分かりません） |
| 同じ質問でも、読んだページ1つあたりの引用の増え方は、モデルで2倍以上違った | どの設計が正しいか。論文は設計の違いを示しただけです |
| GPT-4oの差が小さいのは、記録の絞り込みで説明できる可能性がある | GPT-4oが丁寧に引用していること |
| 読むページが増えるほど、引用されないページも増える | 自社のページを直せば、引用が増えること。この論文は、ページ側の条件を調べていません |
中小企業の視点で、どう受け取るか
ここからは論文の主張とは別の、私の読み取りです。確かな証拠がある部分と、推測にとどまる部分を分けて書きます。
読まれたかどうかは、「引用されたか」の外で確かめる。
この論文の数字は、読まれても引用されない場合が多いことを示しています。引用の有無は、AIに使われたかどうかの一部だけを映します。
サービスごとに、見え方を分けて確かめる。
同じ質問でも、Geminiでは出典が出にくく、Sonarでは多く出る、という違いがありました。自社の質問で、使われているサービスごとに表示を確かめるのが、確実な第一歩です。
引用が出ないことは、サービス側の設計かもしれないと考える。
引用がない回答の多くは、ページの質より、サービスの設計で決まっていたと読めます。ただし、これは私の推測です。
論文は、ページ側の条件を扱っていません。ページを直す前に、そのサービスが出典を出す設計なのかを知っておく価値があります。
この数字は、日本の読者の動きとは別に扱う。
日本語の検証が見当たらず、クリックや問い合わせの数字も、測定の対象外です。自社への影響は、自社のアクセス解析と、質問を試した記録で確かめます。
よくある質問
The Attribution Crisis in LLM Search Resultsは、AIが無断でページを使っていると証明した論文ですか
論文が測ったのは、読んだページと引用したページの差です。利用の許諾があったかどうかは、扱わなかったと明記しています。
Geminiの92%で引用なしという結果は、自社の記事がGeminiに使われていない証拠ですか
そうは言い切れません。92%は、回答のうち引用がなかった割合です。
また、Gemini全体の34%の回答は、検索の記録にページがありませんでした。引用がないことと、自社のページが読まれたかどうかは、別の話です。
引用の差が小さいGPT-4oは、引用に力を入れているサービスですか
論文は、そう読めない可能性を述べています。検索の記録が引用したページ中心に絞られているように見えるためです。
差の小ささは、記録の絞り込みでも説明できます。
まとめ：今日できる1つのこと
自社に関わる質問を1つ選び、使われているAIサービスごとに、出典が出るか、自社のページが出るかを記録してください。
同じ質問を、日を変えて数回試すと、見え方のばらつきも分かります。引用の有無を、読まれたかどうかと混同しないことが、この論文の最も実用的な教訓です。
この論文は、LLMO論文の一覧の一本です。ほかの論文の解説も、順次公開しています。
この記事に書いたことを、そのまま御社のページに
生成AIに引用されるページを、お話しいただくだけでお作りします。お時間をいただくのは初回15分のヒアリングだけです。まず1ページ、無料でお作りします。
OKが出るまで、何度でも直します。事実が違う、言い回しが硬い、この話は入れないでほしい。どれも遠慮なくおっしゃってください。何度お直ししても、追加の料金はいただきません。
これまでに127社にご利用いただきました。毎月ご依頼いただいている方の6割以上が、月10ページを選ばれています。料金はページに掲載しています。
ページを増やしても問い合わせが来ないなら、原因はページの外にあります。その場合は、下の入口からご相談ください。
自社のマーケティング課題を根本から解決しませんか？
ウェブサイトから要素を引き算し、訪れた人が迷わず次の一歩に進む形へ組み直す。初回60分のオンラインで御社のサイトを一緒に読み、どこから直すべきかをお伝えします。手順をまとめた無料の診断と解説動画もご用意しています。
初回は無料・60分・オンライン完結・その場で契約のお願いはいたしません
