【LLMO論文解説】AI検索の出典は回答を支えていたか｜8指標で9つのAIサービスを監査したDeepTRACE（プレプリント）

2026年11月6日

中野輝規

AIに質問すると、回答の文に[1][2]のような番号が付き、末尾に出典の一覧が並びます。この番号と一覧は、本当に回答の文を支えているのでしょうか。

この記事は、その問いを8つの指標で測った論文「DeepTRACE」を、原文から読んで解説します。2025年9月に公開されたarXivのプレプリントで、9つの公開AIサービスに303問を聞き、回答文・出典・引用のつながりを調べています。

合同会社謙虚は、3つのドメインを並行して運用し、何を変えると数字が動くかを測り続けています。AIに「引用された」かどうかに加えて、その引用が回答を支えているかまで測る物差しを知っておくと、自社の見え方を確かめるときに役立ちます。

そう考えて、この論文を読みました。

結論：3行で言うと

論文は、AIの回答を回答文・出典・引用の3つの面から、8つの指標で測る監査枠組みを示しました
2025年8月27日時点の結果では、一覧の出典のどれにも裏づけられない文の割合が、生成検索4種で23.1〜47.0%、ディープリサーチ5種で12.5〜97.5%でした
論文は出典の数や回答の長さが増えても、信頼性は上がらないと述べています。引用の正確さは、論文の要旨で40〜80%、結果の表では31.4〜79.1%でした

この論文の基本情報

項目	内容
原題	DeepTRACE: Auditing Deep Research AI Systems for Tracking Reliability Across Citations and Evidence
著者	Pranav Narayanan Venkit、Philippe Laban、Yilun Zhou、Kung-Hsiang Huang、Yixin Mao、Chien-Sheng Wu（6人）。全員が企業の研究組織の所属です（企業名は伏せます）
公開日	2025年9月2日（arXiv v1）
arXiv番号	2509.04499（分野はcs.CL、自然言語処理）
掲載・採択状況	arXivのプレプリントです。arXivの注記欄に学会名の記載はありません
種類	評価の枠組みの提案と、実在するAIサービスの測定。産業界の研究者による論文です
データ・コード	論文は、質問データセット「DeepTrace」を公開すると書いています。公開先のURLは、本文に見当たりませんでした

論文はこちらで読めます。arXiv（2509.04499）、DOI。

この論文が答えた問い

AIが出典つきで答えるとき、回答の片寄り・出典の使い方・引用の正しさは、どの程度信頼できるのか。

背景にあるのは、著者らの一部が先に行った利用者調査です。調査の参加者がAI検索の使いにくさとして16の失敗事例を挙げ、この論文はそれを測れる指標に作り替えました。

調査そのものは、別の記事で解説しています。

論文によると、既存の評価は検索の段階や要約の段階など、部品ごとの性能を見るものが中心でした。回答がどう引用し、どれだけ自信をもって述べるかまでを通して測る枠組みが足りなかった、というのが論文の動機です。

出典の裏づけを測った初期の監査は、2023年の論文の解説にまとめています。

どうやって調べたのか

まず、調査の全体像を表にします。

項目	内容
質問	303問。討論型168問（賛否が分かれる話題）と、専門型135問（利用者調査に参加した専門家が出した、調べものの質問）
質問の例	討論型「代替エネルギーが化石燃料に実質的に置き換わりえないのはなぜか」、専門型「計算水文学で使われる主なモデルは何か」（いずれも原文は英語の質問を、私が訳したものです）
測った相手	生成検索4種（GPT 4.5/5の検索、You.com、Perplexity、BingChat）と、ディープリサーチ5種（GPTの深い調査、You.comの深い調査、Perplexityの深い調査、BingChatのThink Deeper、Gemini）
回答数	303問×9システム＝2,727件。片寄りと過信は、討論型の質問だけで計算
回答の取得	画面を自動で操作するスクリプトで、質問・回答文・引用・出典URLを取り出しました
出典の本文	出典URLの本文を取得。約15%のURLは有料や削除などで取得できず、本文が必要な計算から除外
測定時期	2025年8月27日時点

回答は、まず「文」に分解されます。文ごとに、質問に関係があるか、討論型なら質問の立場に賛成か反対か中立か、というラベルが付きます。

そのうえで、2つの表を作ります。引用の表は、どの文がどの出典を引用したかを示します。

裏づけの表は、どの出典が、どの文を内容として支えているかを示します。

この2つの表の重なりと差から、8つの指標が計算されます。

8つの指標の定義

指標	何を測るか・計算	採点のしかた
1 片寄った回答	回答に賛成の文と反対の文の両方があれば0、そうでなければ1。討論型のみ	LLMが各文の立場を分類
2 過信した回答	片寄っていて、かつ自信度が5段階の5なら1。討論型のみ	LLMが口調から自信度を採点
3 関連する文	質問に関係する文の数÷文の総数	LLMが文ごとに判定
4 引用されない出典	出典の一覧のうち、回答中で引用されていないものの割合	引用の表から計算
5 裏づけのない文	関連する文のうち、一覧のどの出典にも裏づけられない文の割合。引用の有無は問わない	LLMが文と出典本文を照合
6 出典の必要性	すべての関連文を支えるのに最低限必要な出典の数÷一覧の出典の数	裏づけの表（LLM判定）から、必要最小限の出典の組を数学的に求める
7 引用の正確さ	付いた引用のうち、その出典が実際にその文を支えているものの割合	引用の表と、裏づけの表（LLM判定）の重なり
8 引用の網羅	正しい引用の数÷「支えている出典と文の組」の総数	同上

論文の図1には、7文・5出典の例があります。関連する文は6/7、引用されない出典は0/5、裏づけのない文は1/6、必要な出典は3/5、引用の正確さは4/7（正しい引用4つ、誤った引用3つ）、引用の網羅は4/10です。

指標7の「引用の正確さ」は、回答の内容が事実として正しいかを測る指標ではありません。引用先の出典が、その文を内容として支えているかを測ります。

採点は自動か、人手か

採点の中心は自動です。文の分解、立場の分類、自信度、関連性、裏づけの判定には、LLM（大規模言語モデル）が使われています。

論文の本文では、既定のモデルはGPT-5と書かれています。付録Eの導入文にはGPT-4とあり、食い違いは後の節に書きました。

この記事は本文のGPT-5に従います。

人手は、判定の信頼性を確かめる検証に使われました。報酬を払った注釈者が、100件ずつ作業しています。

自信度の採点：LLMと人手のピアソン相関は0.72で、論文は「かなり一致している」と評価しています
裏づけの判定：相関は0.62で、論文は「中程度の一致」と述べています

裏づけの判定は約8万回にのぼり、人手では費用がかかりすぎるため、LLMに任せたと論文は説明しています。LLMへの依存は、論文自身が「限界」の1つに挙げています。

3段階の判定の色分け

結果の表には、指標ごとに許容（▲）・境界（●）・問題（▼）の判定が付いています。基準は論文の付録にあり、たとえば「裏づけのない文」は10%未満が許容、25%以上が問題です。

「引用の正確さ」は90%以上が許容、50%未満が問題とされています。

この基準は、著者らが利用者調査の結果をもとに決めたものです。外部の基準ではありません。

結果

生成検索（4種）

回答1つあたりの出典の数は3.4〜4.0、文の数は10.5〜18.8でした。単位は、特に書かない限り%です。

指標	You.com	BingChat	Perplexity	GPT 4.5の検索
片寄った回答（討論型）	51.6	48.7	83.4	90.4
過信した回答（討論型）	19.4	29.5	81.6	70.7
関連する文	75.5	79.3	82.0	85.4
引用されない出典	1.1	36.2	8.4	0.0
裏づけのない文	30.8	23.1	31.6	47.0
出典の必要性	69.0	50.4	68.9	67.3
引用の正確さ	68.3	65.8	49.0	39.8
引用の網羅	24.4	20.5	23.0	23.8

表の出典は論文の図2です。列の対応は、図の見出しの並びと、本文の記述（Perplexityの文の数18.8、BingChatの出典数4.0など）から確認しました。

ただし、本文の「Perplexityが最悪」だけは、この対応と合いません（後述）。

片寄り：討論型の質問に対し、賛否の片方しか述べない回答が48.7〜90.4%ありました
過信：Perplexityは、論文の本文によると回答の90%以上が「とても自信がある」口調で、過信は81.6%でした。GPT 4.5の検索も、過信は70.7%です
出典の使い方：BingChatは出典の数が最も多い（平均4.0）のに、36.2%が引用されず、回答に必要な出典は50.4%でした
引用の正確さ：39.8〜68.3%でした。支える出典があっても、別の出典を引用している場合がある、と論文は述べています

ディープリサーチ（5種）と、GPT-5の検索

ディープリサーチは、複数の段階で検索と推論を重ね、長い報告書の形で答えるタイプです。表には、比較用にGPT-5の通常の検索（表中のS）も入っています。

指標	GPT-5 DR	YouChat DR	GPT-5 検索	Perplexity DR	Copilot TD	Gemini DR
出典の数	18.3	57.2	13.5	7.7	3.6	33.2
文の数	141.6	52.7	34.9	30.1	36.7	23.9
片寄った回答	54.7	63.1	69.7	63.1	94.8	80.1
過信した回答	15.2	19.6	16.4	5.6	0.0	11.2
関連する文	87.5	45.5	41.1	22.5	13.2	12.4
引用されない出典	0.0	66.3	51.7	57.5	32.6	14.5
裏づけのない文	12.5	74.6	58.9	97.5	90.2	53.6
出典の必要性	87.5	63.2	32.8	5.5	31.2	33.1
引用の正確さ	79.1	72.3	31.4	58.0	62.1	50.3
引用の網羅	87.5	83.5	17.9	9.1	13.2	27.1

表の出典は論文の表1です。DRはディープリサーチ、TDはThink Deeperの略です。

論文はYouChatとYou.com、CopilotとBingChatを使い分けており、この記事ではそれぞれ同じサービスの別名と読みました。

Gemini DRの引用の正確さ50.3%は、本文の40.3%と食い違います（後述）。原文からは決められないため、表1の値を載せています。

数値は%で、出典の数と文の数だけ件数です。

過信は減りました：ディープリサーチの過信は0.0〜19.6%で、すべて「許容」の範囲でした
片寄りは残りました：54.7〜94.8%で、5種すべてが「問題」の判定です
出典が多くても、裏づけが増えるとは限りません：YouChat DRは出典が57.2件ありますが、66.3%は引用されていません。Perplexity DRは出典が7.7件で、裏づけのない文が97.5%でした
GPT-5 DRは、多くの指標で良い値でした：引用されない出典0.0%、裏づけのない文12.5%、出典の必要性87.5%、引用の網羅87.5%です。論文は、信頼できる設計が可能だという例として挙げています。ただし、87.5%が3つの指標に並ぶ点は原文に説明がなく、値の確かさは確かめられません

論文は付録Dで、同じ討論の賛成側と反対側の質問（「ペットボトル入り飲料水を禁止すべき理由」と「禁止すべきでない理由」）を例に挙げています。

GPT-5の深い調査は、質問の言い方に沿った片寄った回答を返しました。論文は、これを利用者の立場に合わせようとする傾向（迎合）の表れと見ています。

論文自身が書いている限界

付録Aの「限界」で、論文は次の点を認めています。

測るのは文章と引用だけです。画像や、画面の見せ方といった操作面は含みません
回答が正解かどうかは評価していません。回答の形式、取得した出典、使った引用が評価の対象です
文の裏づけや自信度の判定にLLMを使っているため、偏りが入り得ます。人手の検証で、一致の度合いを報告して補っています

本文でも、出典本文の取得で、メニューや広告が混ざるといった小さな問題があったと述べています。取得の自動スクリプトは、調べたサービスの画面に合わせて作られており、ほかのサービスに広げるには作り直しが必要です。

原文を読んで気づいた点

ここからは、私が原文を読んで気づいた点です。

プレプリントです。arXivには初版（v1）だけがあり、学会名の記載がありません。査読を経たかどうかは確認できませんでした。著者6人は全員、企業の研究組織の所属です
日本語での検証は、原文に見当たりませんでした。質問の例はすべて英語で、日本の市場やサービスへの言及も見つかりませんでした
採点の中心はLLMです。人手との一致を報告しているのは、自信度（相関0.72）と裏づけ（相関0.62）の2つです。片寄りの判定、関連文の判定、引用の抽出について、人手との一致は書かれていません。裏づけの判定の指示文は「完全・一部・なし」の3段階で出力させていますが、2値の表にどう直したかは書かれていません
実験の環境と実サービスの差があります。結果は2025年8月27日時点の画面から取ったもので、サービスは更新されます。また、討論型の質問は、立場が偏った言い方で作られており（例：「なぜ〜できないのか」）、回答が質問に引きずられやすい条件です
「片寄り」の判定は緩めです。賛成の文と反対の文が1つずつあれば、片寄りなしと数えます。量の釣り合いまでは見ていません
色分けの基準は、著者が決めたものです。裏づけ判定の一致が「中程度」であることを考えると、この値は目安として読むのが妥当です

原文の記述どうしの食い違い

原文を読むと、本文と表で数字や説明が合わない箇所がいくつかありました。この記事では、表と図の値を使っています。

どちらが正しいかを原文だけでは決められない点（Geminiの引用の正確さ、「Perplexityが最悪」の記述と図2の列名）は、両方の値を示しました。

Gemini（ディープリサーチ）の引用の正確さは、本文に「40.3%、問題」とありますが、表1は50.3%で、判定は「境界」です。表の判定基準では、50.3%は「境界」に当たります
生成検索の片寄りは、本文で「Perplexityが最悪」とありますが、図2ではGPT 4.5の検索（90.4%）のほうが高く、Perplexityは83.4%でした
図2の見出しは「3つの生成検索」ですが、列は4つあります。表1にはGPT-5の通常検索とGPT 4.5の検索が別々にあり、本文の「9システム」と、結果に並ぶ構成の数も一致しません
「引用されない出典」の式は、本文では「引用された出典÷一覧の出典」ですが、図の例と結果の表は「引用されていない出典の割合」として使っています
片寄りの色分けは、基準では40%以上が「問題」ですが、図2のYou.com（51.6%）とBingChat（48.7%）は「境界」の印です
GPT-5 DRの87.5%という値が、関連する文・出典の必要性・引用の網羅の3つで同じです。原文には理由の説明がありません
関連する文は、付録の指示文では挨拶や結びのような中身のない文だけが対象外のはずですが、Gemini DRは12.4%まで下がっています。理由は書かれていません
結論には、ディープリサーチは回答の偏りの小ささ（バランス）と引用の正しさを改善する、とあります。しかし、表の片寄り（54.7〜94.8%）は生成検索（48.7〜90.4%）より低くありません。引用の正確さ（31.4〜79.1%）も、生成検索（39.8〜68.3%）と範囲が重なります
採点に使ったLLMは、本文ではGPT-5、付録Eの導入文ではGPT-4です

この論文から、言えること・言えないこと

言えること（論文の範囲）	言えないこと
2025年8月末の公開AIサービスでは、回答の文が一覧の出典に裏づけられない割合が高い場合があった	日本語の質問や、日本のサービスでも同じ割合になる
出典の数や回答の長さと、裏づけの質は連動しなかった	出典を増やせば、回答が信頼できるものになる
引用の正確さは、サービスごとに31.4〜79.1%の差があった	回答の内容が、事実として正しい割合（正誤は測っていない）
討論型の質問では、片方の立場に寄った回答が多かった	自社のページを直すと、引用の正確さが上がる
採点の枠組みとして、8指標を自動で計算できる	LLMの判定が、人の判定と同じ精度である（裏づけは相関0.62）

中小企業の視点で、どう受け取るか

ここからは、論文の主張とは別の、私の読み取りです。

「引用された」と「引用が正しい」は、別の確認項目です。自社の名前やリンクが回答に出ても、その文の内容を自社ページが支えているとは限りません。論文の引用の正確さが31.4〜79.1%だったことが、その根拠です
自社の見え方を確かめるときは、質問を複数の言い方で試します。付録Dでは、GPT-5の深い調査が質問の言い方に沿った回答を返していました。1つの言い方だけで判断すると、結果を取り違えるおそれがあります
引用される側の工夫として、確かめられる情報をページの本文に書いておく価値が考えられます。論文の裏づけ判定は出典の本文を読んで行うため、本文にない内容は支えられません。ただし、これは論文が示した因果ではなく、私の推測です
「AIに載る」ことの価値を、出典の数で測らない方が安全です。この論文では、出典が多い回答ほど、引用されない出典が増える場合がありました