【LLMO論文解説】検索つきAIの回答は引用が多いほど好まれるのか｜2.4万件の対話と1.2万票の分析（ICLR 2026採択と記載）

2026年11月6日

中野輝規

AIが検索結果を使って答えるとき、読者は何を見て「こちらの答えがよい」と選ぶのでしょうか。この問いに、約2.4万件の実際の対話と、約1.2万票の人の選好票（2つの答えのうち、どちらがよいかの投票）で答えようとした論文があります。

2025年6月公開の「Search Arena: Analyzing Search-Augmented LLMs」です。

この記事は、その論文を原文から読み、要点を整理します。引用の数、引用された出典の種類、引用が本当に主張を裏づけているかという3つの点について、数値は論文の表と本文から拾いました。

合同会社謙虚は、3つのドメインを並行して運用し、何を変えると数字が動くかを測り続けています。この論文は、AIの回答が「読み手にどう選ばれるか」を、大量の実データで調べた数少ない研究のため、読む価値があると考えました。

結論：3行で言うと

引用の数が多い回答ほど、読み手に選ばれやすい傾向がありました。しかも、引用が主張を裏づけていなくても、選ばれやすさは同じ向きでした
引用された出典の種類にも差がありました。技術系・コミュニティ型・SNSは選ばれやすく、ウィキペディアは選ばれにくいという結果です
これは人の好みと各特徴の相関を調べた結果で、論文自身が「因果ではない」と書いています。サイトを直せばAIに引用されるという話は、この論文の範囲の外です

この論文の基本情報

項目	内容
題名	Search Arena: Analyzing Search-Augmented LLMs
著者	Mihran Miroyan、Tsung-Han Wuほか計11人（先頭の2人は同等の貢献と明記）。所属はカリフォルニア大学バークレー校
公開	2025年6月5日（第1版）。2026年3月2日に第2版
arXiv番号	2506.05334（分野はcs.CL、自然言語処理）
掲載・採択	arXivのコメント欄に「Accepted to ICLR 2026」とあり、PDFの冒頭にも「Published as a conference paper at ICLR 2026」と書かれています
種類	データセットの論文（データを作って公開し、そのデータを分析したもの）
公開先	コードとデータセットが公開されています。公開データは24,069件の対話で、利用規約で定めたCC-BYの条件で公開

論文はこちらで読めます。arXiv（2506.05334）。

コードとデータセットの公開先は、arXivのページに記載されています。

著者の所属は大学だけです。ただし謝辞には、著者の研究室が複数の企業から寄付を受けているという記載があります（社名はこの記事では省きます）。

この論文が答えた問い

検索機能つきのAIに、人は実際に何を尋ね、どんな答えを好むのか。そして、好みは引用や出典の種類とどう関係するのか。

これまで検索つきAIの評価に使われてきた問題集は、短い事実確認の質問が中心で、規模も数千問以下でした。論文によれば、実際の利用では事実の確認は全体の19.3%にとどまり、残りは分析、おすすめ、手順の相談などです。

そこで著者らは、ふだんの使われ方に近い質問と、それに対する人の選好票を集めるために、公開サイトを作りました。

どうやって調べたのか

著者らが作ったのは、2つのAIの回答を匿名で並べて見せ、どちらがよいかを投票してもらう公開サイトです。検索機能つきのAIだけが登場する専用の画面を用意しました。

項目	内容
集めた期間	2025年3月18日から5月8日までの約7週間
集まったデータ	対話24,069件、2つの回答を比べた投票12,652票、利用者11,650人（136か国）
言語	約70言語。英語が58.3%、ロシア語11.8%、中国語7.0%、日本語2.8%（本文の図2）
投票した人	サイトの利用者です。ログインは不要で、利用規約への同意だけが必要です
比べた対象	3つの提供元の検索つきAI。本文は13モデル、付録の表は12モデルと書いています
分析の方法	ブラッドリー・テリー・モデル（勝ち負けの記録から強さを推定する統計の方法）。比べる2つの回答の特徴の差を足して、係数を出す
質問の分類	事実の確認、情報の統合、分析、おすすめ、説明、創作、手順、文章の加工、その他の9種類。分類はGPT-4.1が行い、人の分類との一致度は0.812（150件、上位2つの一致）

比べる対象は、実際のサービスの画面ではなく、各社が提供するAPI（プログラムから使う窓口）です。論文は、OpenAIの検索APIが、ChatGPTの検索機能とは異なると注記しています。

公平を保つ工夫として、論文は次の点を挙げています。回答は匿名で左右の位置をランダムにし、提供元には事前にデータを渡さず、未公開のモデルも出していません。

人の投票がどこまで信頼できるかも、小さく確かめています。100件を3人の専門家が判定し、ひき分けを除いた一致率は68%でした（でたらめなら50%）。

結果

引用の数と回答の長さ

ブラッドリー・テリー・モデルで求めた係数を、表にまとめます。係数が正で有意（偶然とは考えにくい）なら、その特徴がある回答が好まれたことを表します。

値はそのまま「何%」とは読めません。

特徴	係数	論文の読み取り
引用の数	0.209	引用が多い回答が好まれる
回答の長さ	0.334	長い回答が好まれる。事実の確認だけに絞ると0.156で、2.14倍小さい
引用が主張を裏づけている数	0.29	好まれる
引用が主張と無関係な数	0.27	同じく、好まれる
引用が主張と矛盾する数	有意でない	効果は検出されなかった

最後の3行が、この論文でいちばん目を引く点です。読み手は、引用が主張を支えているかどうかを区別せず、引用があること自体に影響を受けているように見えます。

論文はこの現象を、無関係な引用の例を見て説明しています。モデルが主張と引用のつながりを作り出したり、関係の薄い出典を挙げたり、出典の内容から少しずれた推論を書いたりしていました。

この分析は、LLMが主張と引用の組を判定する方法で、質問の種類ごとに約100件、合計800件を対象にしました。人の専門家が一部を確かめています。

どんな出典が好まれたのか

論文は、引用先のドメインを9つのグループに分けました。引用の数の影響を取り除いたうえで、出典の種類ごとの係数を出しています。

出典の種類	係数	向き
技術・コード系のサイト	0.073	好まれる
コミュニティ型・ブログ	0.061	好まれる
SNS	0.057	好まれる
ウィキペディア	-0.071	好まれにくい

ウィキペディアが好まれにくかった理由として、論文は2つを挙げています。記事が長くて広く、質問に直接答えていない場合が多いこと、そして、最新情報が必要な質問に向かないことです。

スポーツのニュースを尋ねた質問で、ウィキペディアを引用した回答が選ばれず、報道機関のスポーツ欄を引用した回答が選ばれた例が、図3に載っています。

検索機能の有無

著者らは、同じモデル（Gemini 2.5 Proの試験版）を、検索あり・なしで別の場に出して比べました。

場	比べた回数	ひき分け	検索あり	検索なし	差の有意性
一般の会話の場	544件	245件（45%）	143件（26%）	156件（28%）	有意でない（p=0.244）
検索の場	315件	99件（31%）	126件（40%）	90件（29%）	有意（p=0.009）

一般の会話の場では、検索があっても全体の好みは変わりませんでした。事実の確認ではp=0.012で検索ありが優勢でした
文章の加工では、検索なしのほうが好まれる傾向でした（p=0.077）。論文は、検索なしの回答が見出しや箇条書きで整理されていたことを、理由の候補に挙げています
検索の場では、検索なしのモデルが劣勢でした。事実の確認ではp=5.8×10のマイナス5乗でした

そのほかの結果

推論型のモデルは、引用が少なめで、不要な出典を絞り込んでいるように見えると、論文は述べています
検索の幅を広げた設定は、片方のモデルで勝率が上がりました（63.9%対57.6%、p<0.01）。もう片方のモデルでは有意な差がありませんでした
モデルの種類によって、引用先に偏りがありました。論文によれば、Perplexityのモデルは動画・SNS・コミュニティ型を多く引用し、OpenAIのモデルは大手の報道機関を多く引用しました
回答の長さ、引用の数、出典の種類を揃えると、同じ提供元の中のモデルどうしの得点差が縮まりました。違いの多くが、この3つで説明できることを示しています

論文自身が書いている限界

論文が「限界」として挙げているのは、次の点です。

集まったデータには、人口の偏りがありえます。投票しない人もいて、人の判断には主観が入ります
第3節で、分析は論文の言葉で「因果ではなく相関」とされています。より統制した因果の調査は、今後の課題とされています
読み手の好みは、引用の数や出典の評判といった表面的な特徴に影響されます。事実の正しさ、引用と主張の一致といった客観的な指標との照合は、今後の課題です
データは、人が参加するオンラインの仕組みで集めたものです。新しいモデルを手軽に試すには、自動の評価の整備が必要です
「検索をつければよい」とは限りません。どんなときに検索を使い、どんなときにモデルの知識に頼るかを決める方法が、今後の課題とされています

原文を読んで気づいた点

ここからは、論文が書いていない点を、私が気づいた範囲で挙げます。

日本語での検証は、この論文にはありません。日本語の質問は全体の2.8%で、概算で約670件です（24,069に2.8%を掛けた値）。言語ごとの分析は、英語と英語以外に分けたモデルの順位の表だけで、日本語に絞った引用や出典の分析は見当たりません
実験の環境は、実サービスと違います。比べたのは各社のAPIで、モデルの版も2025年春のものです（Gemini 2.5 Proは試験版）。いまのChatGPTや各社の検索機能に、そのまま当てはまるかどうかは分かりません
投票した人は、サイトを自分で見つけて使った利用者です。一般の検索利用者や、日本の中小企業の見込み客と同じとは限りません
評価は人の投票ですが、分析の一部は自動です。質問の分類はGPT-4.1、主張と引用の照合はLLMが行いました。後者は800件に絞っており、人の確認は一部です
査読を経た論文です。arXivのコメント欄とPDFの書式から、学会（ICLR 2026）への採択が確認できます。ただし、この記事の時点で、学会での発表や公式の会議録は私が確認していません
数値の書き方に細かなずれがあります。本文の図2と付録の言語の表で、英語の割合が58.3%と56.4%で異なります。引用の効果の係数も、序論では0.285と0.273、3.2節では0.29と0.27です（丸めの違いと考えられます）

この論文から、言えること・言えないこと

言えること	言えないこと
検索つきAIへの実際の質問は、事実の確認だけではなく、分析やおすすめなど幅が広い	どんなサイトが引用されるのか。論文は引用された側の条件を調べていません
この調査では、引用が多い回答ほど選ばれやすい傾向があった	引用を増やせば、必ず選ばれやすくなること（相関で、因果ではない）
読み手は、引用が主張を支えているかを区別せずに、好みを決めているように見える	すべての利用者がそうであること。投票者は偏った集団です
出典の種類によって、好みに差があった（技術系・コミュニティ型が正、ウィキペディアが負）	自社のサイトが引用されたら、読み手に選ばれやすくなること
検索を外すと、検索が前提の質問では劣勢になった（約300件の比較）	日本語や、日本の事業者の質問でも同じ結果になること

中小企業の視点で、どう受け取るか

ここからは論文の主張とは別の、私の読み取りです。確かな証拠がある部分と、推測にとどまる部分を分けて書きます。

引用を「見せかけ」で足さない。読み手が引用の有無に反応しやすいという結果は、裏づけのない引用を足したくなる誘惑にもつながります。しかし論文は、これを「知覚される信頼と、実際の根拠のずれ」という問題として挙げています。自社のページでは、主張ごとに出典を確かめられる形にしておくのが、長く効く選択だと私は考えます
出典として拾われやすい型を、仮説として持つ。技術的な質問への答え、利用者どうしの体験談、ブログのような型が選ばれやすかったという結果は、自社の現場の知見をそのまま書く価値を示す手がかりにはなります。ただし、論文はサイトが引用されるかどうかを調べていないので、あくまで仮説です
新しさを必要とする質問には、日付つきの更新を。ウィキペディアが好まれにくい理由に「最新の情報が必要な質問に向かない」が挙げられていました。価格、営業時間、制度のように変わる情報は、更新日を明記し、古くならないように保つのが基本です
日本語での再現を、自社で確かめる。日本語の検証がないため、自社が狙う質問で、AIがどんな出典を引用するかを自分で調べるのが、確実な第一歩です。同じデータセットの質問を使ってChatGPTの引用の出方を調べた研究は、別の記事で解説しています