【LLMO論文解説】AI検索の引用76万件を測定｜約3割は出典と食い違い、27%は分野に不向きな出典（プレプリント、2026年5月）

AIが回答に付ける「出典リンク」は、読者にとって「根拠がある」という目印になっています。しかし、リンク先が実在し、開けるページであっても、その出典が質問に合っているとは限りません。

この記事では、2026年5月にarXivへ公開されたプレプリント「Verified Misguidance: Measuring Structural Citation Failures in Search-Augmented LLMs」を、原文から読んで解説します。検索つきのAI10モデルが付けた引用76万件あまりを、「質問に合う出典か」「分野にふさわしい出典か」「回答は出典の内容どおりか」の3つの観点で採点した研究です。

合同会社謙虚は、3つのドメインを並行して運用し、何を変えると数字が動くかを測り続けています。この論文は、AIに引用される側が「どんな出典として扱われるのか」を考える材料になるため、読みました。

なお、この論文は査読を経ていない初版（v1）のプレプリントです。今後、内容が改訂される可能性があります。

結論：3行で言うと

• 評価できた引用76万1,495件のうち、30.6%は回答の内容が出典と合わず、27.1%は分野にふさわしくない種類の出典でした（論文の自動採点による値です）
• 出典に忠実なモデルは、ブログなどの出典を選びやすく、出典の種類を選ぶのが得意なモデルは、内容を出典と合わせるのが苦手でした。両方が良いモデルは10個の中にありませんでした
• 引用の質のばらつきの88〜96%は、モデルごとの差ではなく提供元ごとの差で説明できたと、論文は述べています。同じ提供元の中でモデルの大小を比べた差は、提供元の間の差より小さい結果でした

この論文の基本情報

項目	内容
原題	Verified Misguidance: Measuring Structural Citation Failures in Search-Augmented LLMs
著者	Yongsik Seo、Wooseok Jeong、Eunyoung Kim、Hyeonseo Jang、Dongha Lee（5人）
公開日・版	2026年5月27日。v1（初版）のみ
arXiv番号	2605.28565（分野はcs.DL、デジタルライブラリ）
掲載・採択の状況	採択の記載なし。arXivのコメント欄には「Working Progress」（作業中の意）とあり、PDFの脚注は「Preprint.」だけです
種類	データセットの構築と、評価の枠組みの提案（実測の研究）
データ・コード	データセット「CiteTrace」と評価コードを公開（データ、コード）。公開されるのはURLとメタデータで、ページ本文は含まれません

論文はこちらで読めます。arXiv（2605.28565）。

この論文が答えた問い

AIが引用した出典は実在し、内容も一見もっともらしいのに、利用者を誤った方向へ導くことがどれくらいあるのか。

これまでの評価は、1つの面だけを見ていました。「回答は出典に裏づけられているか」だけを見る研究、「出典の信頼度」だけを見る研究、「AIがどんな出典を選ぶか」だけを見る研究です。

論文は、出典が実在していても、質問の意図や分野に合っていなければ、利用者を誤らせると考えます。この状態をVerified Misguidance（確認できる出典による誤誘導、略してVM）と名づけました。

どうやって調べたのか

質問は、英語の専門家向け質問応答サイト28コミュニティから集めました。医療、法律、お金、プログラミングなど、専門知識が要り、事業者の利害も絡む分野が選ばれています。

各コミュニティから400問ずつを均等に抽出し、合計11,200問になりました。質問文には、サイトの投稿タイトルだけを使っています。

この質問を、検索機能つきの10モデルに投げました。5つの提供元の標準版と推論版が含まれ、同じ約15日間（2026年3月26日〜4月9日）に集めています。

項目	内容
対象モデル（10個）	GPT-5、GPT-5 mini、Claude Sonnet 4.6、Claude Haiku 4.5、Gemini 3.1 Pro、Gemini 3 Flash、Grok 4.1 Fast（推論あり・なし）、Sonar、Sonar Reasoning Pro
質問と回答	11,200問 × 10モデル＝112,000回答。引用の組は1,271,046件
出典ページの取得	引用された一意のURL 396,670件のうち231,105件（58.3%）を取得。引用の組の63.2%に当たります
評価できた引用	コード・表だけの引用、短すぎる抜き出し、採点者が評価不能とした引用を除いた761,495件
採点する人	GPT-4o-miniが採点。人手との一致を、各観点200件・注釈者3人で確認

採点は、1つの引用ごとに3つの観点で行います。いずれも1〜5点で、2点以下を「失敗」と数えます。

観点	何を見るか	失敗率の呼び名
意図と目的の一致（IPA）	質問が求めるものと、出典の書かれた目的が合うか。例：事実を知りたい質問に、宣伝ページが出ていないか	AFR
出典の適切さ（SS）	その分野で、その種類の出典を使ってよいか。例：医療の質問に個人ブログは不適	SFR
回答と出典の忠実さ（ASF）	引用された文が、出典の内容と合っているか。5段階で、出典にない（捏造）、別の文脈の流用、反対の主張、言い過ぎ、完全に一致、に分けます	FFR

出典の適切さは、10の分野と6つの出典の種類を掛け合わせた表で点数を決めます。この表は、専門家のパネル（分野ごとに10人）の評価をもとにしたものです。

たとえば、医療や法律の分野では、公的機関と研究論文だけが最高点で、ウィキやフォーラム、個人のブログは最低点の1点です。一方、プログラミングの分野では、開発者コミュニティのウィキやフォーラムが最高点になります。

結果

引用の約3割が、出典と合わないか、分野に不向きだった

観点	失敗率	補足
回答と出典の忠実さ（FFR）	30.6%	完全に支持61.2%、出典にない捏造24.5%、出典の別の文脈の流用6.1%、言い過ぎ7.1%、反対の主張1.1%。失敗に数えるのは捏造と流用の2段階
出典の適切さ（SFR）	27.1%	中間の3点が33.3%で最多。失敗の多くは「少しずれた種類」の出典
意図と目的の一致（AFR）	5.1%	出典の73.1%が「知らせる」目的のため、低く出やすい

忠実さは、二極に分かれていました。出典の内容どおりか、出典にない内容かのどちらかが多く、中間の例は少なかったと論文は述べています。

出典の種類の内訳も偏っていました。ブログ・SNSが29.2%、企業のページが21.1%で、合わせて50.3%です。

公的機関（17.5%）と研究論文（8.8%）を合わせても26.3%でした。

忠実なモデルは出典の選び方が甘く、出典の選び方が良いモデルは内容が出典と合わない

モデル	回答と出典の失敗率（FFR）	出典の失敗率（SFR）
Claude Haiku 4.5	12.3%	30.1%
Claude Sonnet 4.6	13.1%	31.7%
Sonar Reasoning Pro	18.0%	31.5%
Gemini 3 Flash	30.0%	33.5%
Gemini 3.1 Pro	33.1%	30.1%
Sonar	34.1%	30.0%
Grok 4.1 Fast（推論なし）	40.5%	24.8%
GPT-5	42.3%	8.0%
Grok 4.1 Fast（推論あり）	42.6%	24.6%
GPT-5 mini	44.9%	14.3%

表は、論文の付録の表から、忠実さの失敗率が低い順に並べました。

GPT-5は、引用の41.8%を公的機関のページに集めたため、出典の失敗率が8.0%と最も低く出ました。一方で、回答の42.3%は出典の内容と合っていませんでした。

Claudeの2モデルは、引用のうちブログが32〜35%、公的機関が約12%でした。回答は出典に忠実ですが、出典の失敗率は30%を超えています。

公的機関の引用割合と出典の失敗率の相関は、-0.95（スピアマンの順位相関、10モデル）でした。10個の平均の話であり、1つの引用の予測ではありません。

健康・お金・法律では、出典の失敗率がほぼ倍になる

出典の失敗率は、健康・お金・法律の分野（検索品質の指針で言うYMYL、誤りが生活に大きく響く分野）で38.3%、それ以外で21.1%でした。比にすると約1.8倍です。

同じ質問でも、結論が同じ回答の出典の質は違います。

ビタミンAの摂取量に関する質問では、全10モデルが同じ結論でしたが、Claudeは公的な健康機関のページを引用し（忠実さの失敗率0%）、Sonar系とGemini系のモデルは、販売目的のブログを引用しました（同80〜100%）。

提供元の差が大きく、モデルの大小や推論は決め手でなかった

• 提供元ごとの分散の説明率：意図の一致96.5%、出典の適切さ96.1%、忠実さ88.3%（残りがモデルごとの差）
• Claude SonnetとHaiku：忠実さの失敗率は0.76ポイント、出典の失敗率は1.58ポイントの差（Sonnetのほうが高い）
• GPT-5とGPT-5 mini：GPT-5のほうが、忠実さは2.56ポイント、出典の失敗率は6.27ポイント低い
• Gemini 3.1 ProとFlash：Proは出典の失敗率が3.39ポイント低く、忠実さの失敗率は3.10ポイント高い
• Sonar Reasoning ProとSonar：推論版は忠実さの失敗率が18.0%で、Sonarの34.1%より16.1ポイント低い。出典の差は1.5ポイント
• Grok 4.1 Fastの推論あり・なし：3観点とも差は約2ポイント以内

論文はここから、出典の選択は検索基盤の側で決まる部分が大きく、モデルを大きくしたり推論を加えたりしても、変わりにくいと読みます。推論の効果が出たSonar系の比較でも、改善したのは出典をどう使うかという忠実さの面だけでした（Grok系では差がありませんでした）。

回答単位で見ると、ほぼ全員がどこかで失敗した引用に出会う

1つの回答には複数の引用が付くため、回答単位で見ると失敗の割合は大きく上がります。1件でも3観点のどれかで失敗した引用を含む回答の割合は、最も低いClaude Haikuで71.3%、最も高いGrok 4.1 Fast（推論あり）で96.1%でした。

Claude Sonnetは、引用1件あたりの忠実さの失敗率が13.1%でも、1回答あたり平均12.7件の引用を付けるため、回答単位では62.9%になります。

引用の数が増えるほど、忠実さの失敗率は下がり（1〜5件の回答で33.7%、20件以上で28.2%）、出典の失敗率は上がります（22.4%から31.7%）。

3つの観点の失敗は、互いに独立して起きていました。3つすべてで失敗した引用は3,174件（0.42%）で、各失敗率を掛け合わせた期待値（約0.42%）とほぼ一致します。

忠実さだけの失敗は22.2%、出典だけは19.8%でした。

論文自身が書いている限界

• 質問は英語の質問応答サイトだけです。英語以外の言語や文化での傾向は確かめていないと述べ、優先度の高い今後の課題としています（日本語は対象に入っていません）
• 出典ページの取得に失敗した引用が36.8%ありました。ボット対策で遮断されやすいフォーラム（67.9%）と個人ブログ・SNS（55.0%）に偏るため、失敗率は実際より低く出る下限の値だと説明しています
• 採点は、1つのAI（GPT-4o-mini）だけに頼っています。採点者を替えると、絶対値が動く可能性があるため、モデル間・提供元間の相対差を主な主張としています
• 意図と目的の表、出典の適切さの表は、専門家が作った指標です。専門家によって、一部のセルの点数は変わりうると述べています
• 検索は実際のウェブに問い合わせるため、同じ質問でも時期により結果が変わります。約15日間に集めた一時点の記録で、順位は3か月以内に入れ替わりうると述べています
• どの段階（検索、生成、対話）が失敗を生むかは切り分けていません。商用の検索基盤が非公開のため、固定実験ができないとしています

原文を読んで気づいた点

• 日本語の検証はありません。質問は英語の投稿タイトルで、日本の事業者名や商品名を含む質問は入っていません
• 実験環境と実サービスの差があります。各社の画面のアプリではなく、API経由で検索機能を使っています。システムの指示文も、引用の形式を指定しない共通の1種類です
• 採点は自動採点が中心です。人手の確認は、各観点200件の抜き取りです。採点者のGPT-4o-miniと同じ系列のGPT-5を評価対象に含みますが、この偏りを調べた記載は見つけられませんでした
• 「失敗」は、出典の種類で決まります。医療の質問で個人ブログを引用すれば、内容が正しくても失敗に数えられます。出典の適切さは、情報の正しさそのものを測る指標ではありません
• 「出典を歪めた」の中身は、ほとんどが捏造です。忠実さの失敗30.6%のうち24.5%は「出典にその主張がない」、6.1%は「別の文脈の流用」です。要旨の「歪める」という表現より、出典にない内容が多い点に注意が要ります
• ページの内容は、取得した時点のものです。AIが引用した時点と同じ内容だったかは、論文では確かめられていません
• 提供元の差は、5提供元×2モデルの比較です。提供元の違いは、検索基盤の違いと、モデルの系列の違いが混ざっています。論文自身も、検索と生成の切り分けは未実施と述べています
• 表記が食い違う箇所があります。回答単位の最大値を、要旨は96%、冒頭と考察は90%としています。表の最大値は96.1%です
• 査読の記載はありません。arXivのプレプリント（v1）で、採択された学会や雑誌の記載は見つかりませんでした。arXivのコメント欄には「Working Progress」とあり、著者自身が作業中の版として出していると読めます

この論文から、言えること・言えないこと

言えること（論文の範囲で）	言えないこと
2026年3〜4月の英語の質問では、引用の約3割で回答が出典と合わず、約3割で分野に不向きな出典が使われた	日本語の質問や、日本のサービスで同じ割合になる
忠実さと出典の適切さは、10モデルの間で両立しなかった	両立するモデルや設定が存在しない（今回の10モデルで見つからなかった、という範囲）
提供元が同じモデルは、出典の傾向が近かった	検索基盤が原因である（切り分けは未実施）
健康・お金・法律で、個人ブログなどの出典の失敗率が上がった	企業の公式ページが引用されやすくなる方法
回答に引用が付いていても、その出典が適切とは限らない	各サービスが現在も同じ傾向である（順位は3か月以内に入れ替わりうる）

中小企業の視点で、どう受け取るか

ここからは、論文の主張とは別の、私の読み取りです。

1. 「引用される」ことと「適切な出典として扱われる」ことは別の問題です。

論文は、引用される側の対策を調べていません。ただ、AIが出典の種類によって評価されている構図は確認できます。

2. 健康・お金・法律に近い事業では、出典として不利になりうる点を意識したいです。

この論文の採点では、これらの分野で、公的機関と研究論文以外の出典は評価が下がります。

自社の情報を、公的機関や研究の一次情報へ結びつけて示すことは、有効な手がかりになりえます。ただし、これは論文の検証した方法ではありません。

3. AIに引用された、という事実だけで安心しないほうがよいです。

引用されたページの主張が、本当にそのページに書かれているかを、定期的に確かめる価値があります。

自社のページが誤って引用されている例も、起きうると読み取れます。

4. 日本語での確認が先です。

この論文は英語で調べたものなので、日本語のAI検索で同じ傾向が出るかは、自社の質問で確かめるのが確実です。謙虚でも、3つのドメインで確かめています。

よくある質問

Verified Misguidance（確認できる出典による誤誘導）は、ハルシネーションと何が違いますか

ハルシネーションは、事実として誤った内容や、出典のない内容をAIが作ってしまう現象です。

Verified Misguidanceは、出典が実在して開けるのに、質問の意図や分野に合わない出典を選んだり、内容を出典と食い違えて書いたりする失敗を指します。論文は、これを3つの観点で測る枠組みを提案しました。

CiteTraceの評価結果は、そのまま現在のAI検索に当てはまりますか

当てはまるとは言えません。2026年3月26日〜4月9日に集めた、英語の質問での値です。

論文自身も、検索の仕組みは週単位で変わり、順位は3か月以内に入れ替わりうると述べています。傾向を知る材料として読むのが適切です。

Verified Misguidanceの論文は、企業が引用されるための対策を示していますか

示していません。論文はAIの引用の質を測る研究で、発信側の書き換えや施策の効果は検証していません。

論文は、IPAの表を使って自社ページの順位を上げる行為について、リスクは低いと述べています。この表は診断用の道具で、実際の検索システムが使う信号ではないという理由です。

まとめ：今日できる1つのこと

自社に関わる質問を1つ選び、AI検索に聞いて、引用されたページの文章が、本当にそのページに書かれているかを開いて確かめてみてください。

確かめた結果は、日付とあわせて記録しておくと、AIの出典の使い方が変わったときに比べられます。

この論文は、LLMO論文の一覧の一本です。ほかの論文の解説も、順次公開しています。

ページを増やしても問い合わせが来ないなら、原因はページの外にあります。その場合は、下の入口からご相談ください。