AIが検索で取り込んだ複数の文書が、同じ事実について食い違っていたら、AIはどちらを採用するのでしょうか。2026年1月に公開された「Whose Facts Win? LLM Source Preferences under Knowledge Conflicts」は、この問いを「出典の種類」に注目して調べた研究です。
この記事は、その論文を原文から読み、要点を整理します。政府、新聞、個人、SNSという4種類の架空の出典を使い、13の公開モデルで確かめた結果です。
数値は、論文が報告している値をそのまま拾いました。
合同会社謙虚は、3つのドメインを並行して運用し、何を変えると数字が動くかを測り続けています。この論文は、AIが食い違う情報の中から何を選ぶのかを、条件を揃えて測った例として読む価値があります。
結論:3行で言うと
- 13のモデルのうち11が、食い違う2つの情報のうち、政府や新聞のような機関の出典がついた方を、個人やSNSの方より選びやすい傾向を示しました
- ただし、低く扱われる出典の情報を繰り返して見せると、この序列が逆転することがあります。論文は、この逆転を重大な弱点として扱っています
- 著者らは、追加の学習と指示文の併用で、小型モデル1つの実験では繰り返しの影響を最大79.2%減らしました。ただし、実験は架空の出典、英語、公開モデル、選択式の設問に限られます
この論文の基本情報
| 項目 | 内容 |
|---|---|
| 題名 | Whose Facts Win? LLM Source Preferences under Knowledge Conflicts |
| 著者 | Jakob Schuster、Vagrant Gautam、Katja Markert(3人)。所属はドイツの大学と研究所 |
| 公開 | 2026年1月7日にarXivへ投稿。arXiv:2601.03746(分野はcs.CL、計算言語学)。この記事は2026年4月17日付の第3版を読みました |
| 掲載・採択 | 査読あり。ACL 2026(計算言語学会の年次大会)のロングペーパー(会議録第1巻)として掲載され、会議録の論文として登録されています(ACL Anthology 2026.acl-long.1357)。論文誌のDOIは10.18653/v1/2026.acl-long.1357。arXiv発行のDOIは10.48550/arXiv.2601.03746 |
| 種類 | 実験研究。出典の種類が、モデルの回答をどう動かすかを測定 |
| データ・コード | 論文の脚注にあるGitHubのリポジトリで公開されています |
論文はこちらで読めます。arXiv(2601.03746)、ACL Anthology、データとコード。
arXivのコメント欄には、データとコードの案内だけがあり、採択の記載はありません。採択は、会議録の登録(Crossref)と、ACL Anthologyのページで確かめました。
この記事の内容は、arXiv版を読んで書いています。
この論文が答えた問い
AIが検索で取り込んだ文書同士が食い違うとき、どの種類の出典の情報を採用するのか。そして、その好みは、情報の繰り返しで崩れるのか。
検索で取り込んだ文書を材料に答える仕組みを、検索拡張生成(RAG)と呼びます。取り込む文書には、古い情報や、誤った情報が混じることがあります。
論文によると、それまでの研究は、関連の強い文書、AI自身の知識に合う文書、多数派の情報、AIが書いた文書を選びやすいことを示してきました。しかし著者らが調べた範囲では、「情報の出どころ」が選択にどう効くかを調べた研究はありませんでした。
どうやって調べたのか
著者らは、実在の出典が持つ評判や政治的な傾向の影響を避けるため、出典も事実も架空のものにしました。
具体的には、架空の人物や建物などの属性(生年月日、国籍など)を使い、1つだけ値を変えた「もっともらしい食い違い」の組を作ります。2つの情報を表の形で見せ、「この人の国籍は」といった質問に、AかBで答えさせます。
| 項目 | 内容 |
|---|---|
| 食い違いの組 | 373の架空の対象から、1,903の値の変更を作り、計7,440組。元データは別の研究で作られた架空の事実集で、著者の1人が手作業で確認しました |
| 出典の種類(4つ) | 新聞(実在の新聞名の型に架空の地名を入れた名前)、政府(架空の役所名)、個人(米国で多い姓名)、SNS利用者(形容詞と名詞と数字を組み合わせたユーザー名) |
| 対象のモデル | 公開されている13モデル。Qwen 2.5(7B〜72B)、OLMo-2(7B〜32B)、Llama-3(3B〜70B)、Gemma-3(4B〜27B)の4系統 |
| 出題の形 | 2つの表を見せ、AかBを選ばせる選択式。表の順番を入れ替えた2通りで出題 |
| 指標 | 出典をつけたとき、選択肢Aの選ばれやすさ(確率)が、出典なしのときからどれだけ動いたか(以下、SP) |
SPは、文章を生成させず、AかBの文字が出る確率を直接読み取って計算します。論文は、生成された文章はモデルの好みを調べるには向かないという先行研究を理由に挙げています。
表の順番に引きずられる癖(位置バイアス)は、順番を入れ替えて打ち消しています。論文は、位置バイアスと出典の好みには負の相関(スピアマンの順位相関係数が-0.4)があり、出典の好みは、むしろ控えめに測られていると述べています。
統計の確認には、1万回のブートストラップ検定(データを繰り返し抽出して差を確かめる方法)を使い、多重比較の補正(検定を何度も行うことによる誤判定を抑える手順)をかけています。論文が結果として載せているのは、13モデルのうち10以上で有意だったものです。
結果
出典の種類には、一貫した序列があった
出典なしの情報と比べると、すべてのモデルが、出典がついた情報を選びやすくなりました。2つの情報に異なる種類の出典をつけた場合も、全モデルで序列が矛盾なくつながりました(AがBに勝ち、BがCに勝つなら、AはCに勝つ)。
モデル間の序列の一致度(ケンドールのW)は平均0.74と高く、13モデルのうち11モデルが、2つの機関の出典を2つの個人系の出典より上に置きました。論文は、全体をまとめた序列を「政府 > 新聞 > 個人・SNS」と示しています。
| 比べたもの | 論文が報告した傾向 |
|---|---|
| 出典あり と 出典なし | 全モデルが、出典ありを選びやすい |
| 政府 と 新聞 と 個人系 | 政府が最上位、次に新聞。個人とSNSは下位にまとまる |
| 新聞の発行部数、SNSのフォロワー数 | 多い方を選ぶ傾向が、全モデルで見られた |
| 新聞の地域性 | 多くのモデルで、対象の地域と同じ地名の新聞を、わずかに選びやすい |
| 個人の肩書・性別・年齢 | 多くのモデルで、学術的な肩書、女性、高齢を、わずかに選びやすい |
| SNSのユーザー名の型 | モデルによって向きがばらつく |
論文は、肩書や性別などの属性の影響は「弱い」としています。人間の信頼判断の研究とは、一部で食い違う点です。
「どちらが信頼できるか」と直接聞くと、答えが変わるモデルがある
著者らは、食い違いの問題を出さずに、「どちらの出典の方が信頼できるか」と直接尋ねる実験も行いました。15の比較と13モデルの計195通りのうち、139通りでは、実際の選択と同じ向きで、より強い好みが出ました。
一方、38通りでは、選択のときと反対の向きになりました。直接尋ねた場合の方が、モデル間の一致度は上がっています(0.59から0.77)。
論文は、実際の利用に近いのは、直接尋ねる方式より、食い違いの中で選ばせる方式だと述べています。
「答えられない」を選べても、好みは残った
第3の選択肢「答えられない」を加えても、ほとんどのモデルは、多くの場面でそれを選びませんでした。情報が足りないのに答えを出してしまう、ということです。
論文の表1によると、「答えられない」の平均確率が高かったのは、一部のモデルでした。
Qwen 2.5 14B(出典なしで46.2%、出典ありで55.9%)、Qwen 2.5 32B(59.4%、45.8%)、Llama-3.1 70B(43.9%、41.5%)、Qwen 2.5 72B(29.8%、40.2%)などです。
Gemma-3 27Bは20.0%と9.5%、Gemma-3 12Bは9.1%と12.1%です。
残りの7モデルは、どちらの条件でも0.2〜3.8%でした。
この条件でも、出典の序列は全モデルで矛盾なくつながり、13モデルのうち11モデルは、元の実験と同じ序列になりました。
繰り返しは、出典の序列を逆転させた
ここからが、この論文の中心的な発見です。著者らは、最も好まれた政府の出典を、最も好まれにくいSNSの出典と戦わせました。
そのとき、SNS側の情報を、次の3つの見せ方で増やしました。
| 見せ方 | 内容 | SPの差(元の実験との絶対差) |
|---|---|---|
| 2表の多数派 | 同じ内容の表を、異なる2つのSNSの出典で2つ見せる | 平均33.90。全モデルがSNS側を選ぶ向きに動いた |
| 1表の多数派 | 2つのSNSの出典を、1つの表の見出しにまとめる(表は1つ) | 平均6.17。ほぼ政府を選び続けた |
| 繰り返し | 同じSNSの出典の同じ表を、2回見せる | 論文は、多数派の影響とは別に確かめられるとして、全モデルが繰り返しを好むと報告。平均30.04 |
私の読み取りでは、「1表の多数派」で変化が小さかったことから、効いているのは「2つの出典が一致している」ことより、同じ内容が、表として何度も出てくることだと思われます。
出典がまったくない情報でも、繰り返すと、ほとんどのモデルが好みました。出典つきを好んでいた元の傾向が、逆転しています。
論文は、出典の信頼性は働いてはいるが、繰り返しの効果の方が大きいと述べています。
著者らは、繰り返しの影響を人間の「錯誤の真実効果」(繰り返し聞いた情報を、正しいと感じやすくなる現象)に近いものとして位置づけています。
指示文では直らず、追加の学習で緩和できた
指示文に「出典の信頼性を考えよ。単なる繰り返しに影響されてはならない」と加えると、本文が示したQwen系の結果では、元の序列は強まりました。
しかし、多くの場合、元の序列と一貫するには足りませんでした。
そこで著者らは、元のモデルの振る舞いを手本にして、繰り返しのある入力でも同じ答えを返すように、小さなモデルを追加で学習させました(Gemma-3 4Bを使い、LoRAという軽量な学習法を採用)。
| 比較 | 学習前 | 学習後 | 変化 |
|---|---|---|---|
| 政府と出典なしでの、繰り返しによるSPの差 | 45.9 | 9.55 | 79.2%減 |
| 同じ比較での、元の出典の好み(SP)。指示文の工夫と併用 | 29.6 | 21.5 | 72.5%を維持 |
| 政府とSNSでの、繰り返しによるSPの差 | 33.2 | 7.2 | 78.3%減 |
数値は、信頼性を考慮させる指示文と併用し、異なる乱数の種で7回学習した平均です。学習に使った出典は新聞と個人で、評価には、学習で見せていない政府とSNSの出典を使っています。
つまり、見たことのない種類の出典にも効いたことになります。
論文自身が書いている限界
論文は、限界の節で、次の点を挙げています。
- 架空の設定です。著者らは、序列は現実にも当てはまると考えつつ、文章の題材や出典の専門性によっては成り立たない例があると述べています
- 英語だけです。設問も出典名も英語で、米国の好みを前提にした部分があります。他の言語では、信頼の序列が違う可能性が高いと、論文は書いています
- 選択式の設問だけです。段階的な推論も、自由な文章の生成もありません。別の評価方式では、結果が変わる可能性があります
- 事実の食い違いだけです。感想や好みの質問は扱わず、2つの選択肢は同じくらいもっともらしい値です。現実には、片方がもっともらしくない場合や、出典に専門性の差がある場合があります
- 緩和策は、現実の仕組みで確かめていません。単純な設定では、重複を除くだけでも対処できると論文は述べています。実際の検索拡張生成では、重複を除くことは簡単ではなく、出典を問わずに除くのも適切ではないとも書いています
原文を読んで気づいた点
- 日本語での検証はありません。日本語や日本の出典の型(官公庁、新聞、地域メディアなど)で同じ序列になるかは、この論文からは分かりません
- 実サービスとの差が大きいです。調べたのは、3B〜72Bの公開モデルです。ChatGPTやPerplexityなどの実サービスは対象外で、検索の仕組みや、サービス側の出典の選別も含まれていません
- 出典は、名前だけです。モデルが見たのは、出典の種類を示す名前(役所名、新聞名、ユーザー名)で、実在のウェブサイトのドメインや、ページの作りではありません
- 採点は自動です。人が回答を評価する工程はなく、答えの文字の確率を機械的に読み取っています。この方式は、再現性が高い反面、モデルが文章で答えるときの挙動とは異なる可能性があります
- 内部の記載に、揺れが2点あります。追加学習の損失の重みを、本文は0.2、付録の学習設定は200と書いています。また、データ作成に使ったモデルを、本文はQwen 2.5-72B、付録は70Bと書いています。どちらも結果の数値には影響しないと思いますが、原文のとおり記します
- 査読と掲載状況:ACL 2026のロングペーパー(会議録第1巻)として掲載された、査読つきの論文です。確認の経緯は、基本情報の下に書いたとおりです
この論文から、言えること・言えないこと
| 言えること(論文の範囲) | 言えないこと |
|---|---|
| 公開モデルは、食い違う情報のうち、機関の出典がついた方を選びやすい | ChatGPTなどの実サービスも、同じ序列で選ぶ |
| この序列は、複数の設定で一貫していた | 日本語や、日本の出典の種類でも同じ序列になる |
| 低い出典の情報でも、繰り返すと優先された | 自社のページを増やせば、AIに採用される |
| 追加の学習で、繰り返しの影響を減らせた | 実在の検索拡張生成の仕組みでも、同じ効果が出る |
| 出典の名前だけでも、選択は動いた | 実在の企業サイトの見え方や、実際の評判の効き方 |
中小企業の視点で、どう受け取るか
ここからは論文の主張とは別の、私の読み取りです。実務への当てはめは、日本語と実サービスでの確認を経ていない仮説として読んでください。
- 自社情報の食い違いを減らす。公式サイト、地図情報、ポータルサイトで、価格や営業時間が食い違っていると、AIがどれを採るかは偶然に近づきます。この論文は、食い違いの中での選び方を示しており、まず食い違いをなくすことが先だと考えます
- 「機関に近い出典」で裏づける発想を持つ。論文では、役所や新聞の名前がついた情報が好まれました。自社の主張を、公的な統計や第三者の報道で裏づけられる形にしておくことは、この傾向と相性が良いと考えます。ただし、実在のサイトで効くかは、この論文では確かめられていません
- 同じ主張の水増しを、施策にしない。繰り返しで優先されたという結果は、裏を返せば、AI側が直すべき弱点として報告されたものです。
- この結果を、順位を上げる手段と受け取らない。研究の目的は、モデルの偏りを測ることです。自社のページの見え方は、自社で、複数のサービスと質問の言い方で、記録を取りながら確かめるほうが確実です
見え方の測り方は、GEO対策の効果測定の記事にまとめています。研究の全体像は、サーベイ論文の解説とGEO原論文の解説もご覧ください。
よくある質問
Whose Facts Win?の実験は、ChatGPTなどの実サービスにもそのまま当てはまりますか
そのまま当てはめることはできません。調べたのは公開モデル13個で、実サービスは対象外です。
設問は英語で、出典は架空です。
Whose Facts Win?が示した出典の好みは、自社のページの見え方にどう関係しますか
直接の関係は、この論文では示されていません。論文が示したのは、名前だけの架空の出典を使った場合の、公開モデルの選び方です。
実在の自社ページが、機関の出典として扱われるかは、別の確認が必要です。
Whose Facts Win?が見つけた「繰り返し」の弱点は、誰が直すものですか
論文は、モデル側で直す方法として、追加の学習を示しています。ページを作る側が使う手段としては提案していません。
まとめ:今日できる1つのこと
自社の営業時間、価格、所在地といった基本情報を、公式サイト、地図情報、掲載先のポータルサイトの3か所で見比べてください。食い違いがあれば、公式サイトに合わせて直します。
AIが食い違いの中から選ぶ前に、食い違いそのものをなくしておくことが、論文の結果に照らしても、リスクの小さい備えです。
この論文は、LLMO論文の一覧の一本です。ほかの論文の解説も、順次公開しています。
この記事に書いたことを、そのまま御社のページに
生成AIに引用されるページを、お話しいただくだけでお作りします。お時間をいただくのは初回15分のヒアリングだけです。まず1ページ、無料でお作りします。
OKが出るまで、何度でも直します。事実が違う、言い回しが硬い、この話は入れないでほしい。どれも遠慮なくおっしゃってください。何度お直ししても、追加の料金はいただきません。
これまでに127社にご利用いただきました。毎月ご依頼いただいている方の6割以上が、月10ページを選ばれています。料金はページに掲載しています。
ページを増やしても問い合わせが来ないなら、原因はページの外にあります。その場合は、下の入口からご相談ください。
自社のマーケティング課題を根本から解決しませんか?
ウェブサイトから要素を引き算し、訪れた人が迷わず次の一歩に進む形へ組み直す。初回60分のオンラインで御社のサイトを一緒に読み、どこから直すべきかをお伝えします。手順をまとめた無料の診断と解説動画もご用意しています。
初回は無料・60分・オンライン完結・その場で契約のお願いはいたしません


