生成AIの検索は、検索結果の一覧を見せる代わりに、回答文の中に付けた引用で元のページへ案内します。AIが引用にどの記事を選ぶかに偏りはあるのか、という問いを、政治的に敏感なニュースで測った論文があります。
題名は「Media Source Matters More Than Content」です。2025年11月に開かれた自然言語処理の国際会議EMNLPの本会議で、会議録に掲載されました。
この記事は、原文を読んで、何を測り、何が分かり、何が分かっていないのかを整理します。
特定の政党や報道機関の評価には踏み込まず、論文が測ったことだけを書きます。数値は原文の表から拾い、私が計算した値には「概算」と添えました。
合同会社謙虚は、3つのドメインを並行して運用し、何を変えると数字が動くかを測り続けています。この論文を読むのは、AIが引用を選ぶ手がかりが記事の中身なのか、載っている媒体の名前なのかを、実験で切り分けた研究だからです。
結論:3行で言うと
- 5つのモデルすべてで、左寄りと評価された媒体の記事のほうが、右寄りより多く引用されました。ただし差は小さく、左の引用の割合に直すと52〜55%ほどです(概算)
- 記事の本文はそのままで媒体名だけを消す、または入れ替えると、この偏りは大きく縮みました。論文は「中身より媒体名が強く効く」と結論づけています
- 「偏りなく引用して」と指示を足しても、偏りは減りませんでした。多くの場合、むしろ増えています
ただし、実験は英語のニュースで、2本の記事を渡して引用させる単純化したものです。日本語や実際のサービスにそのまま当てはまるとは、論文自身も言っていません。
この論文の基本情報
| 項目 | 内容 |
|---|---|
| 題名(原題) | Media Source Matters More Than Content: Unveiling Political Bias in LLM-Generated Citations |
| 著者 | Sunhao Dai、Zhanshuo Cao、Wenjie Wang、Liang Pang、Jun Xu、See-Kiong Ng、Tat-Seng Chua(7人。所属は中国とシンガポールの大学・研究機関) |
| 公開日 | 2025年11月(会議は11月4〜9日、中国・蘇州) |
| 掲載・採択状況 | EMNLP 2025の本会議(main)論文。ACL Anthologyに収録(ID 2025.emnlp-main.872、17256〜17276ページ)。Crossrefにも登録があります |
| ACL Anthology | aclanthology.org/2025.emnlp-main.872 |
| DOI | 10.18653/v1/2025.emnlp-main.872 |
| 種類 | 実験による実証研究(大学・研究機関の論文)。論文の1ページ目の脚注に、データとコードの公開先が書かれています |
| データ・コードの公開先 | GitHub(論文の脚注に記載) |
この論文が答えた問い
同じ出来事を扱う左寄りと右寄りの記事が両方あるとき、AIは回答の引用にどちらを選びやすいのか。偏りがあるなら、その原因は記事の中身か、媒体の名前か。
従来の検索は、順位をつけた一覧を見せるので、利用者は複数のページを見比べられます。生成AIの検索は、引用が元のページへの入口のほぼ唯一の通り道になるため、何が引用されるかの偏りは見え方に直結します。
論文はこの点を、検索結果の順位が人の判断に影響するという過去の研究とつなげて問題にしています。
ただし、この論文が測ったのは引用の偏りだけです。読み手の考えがどう動くかは測っていません。
どうやって調べたのか
データと手順
| 項目 | 内容 |
|---|---|
| データ | 2024年1月〜12月の実際のニュース記事。政治的な傾向は、外部のメディア評価サイトが付けた5段階のラベルを使い、「中央」を除いて「左寄り」「右寄り」の2分類に統合しました |
| 規模 | 質問1,340問、記事2,680本(1問に左寄り1本と右寄り1本)、媒体は169 |
| 質問の作り方 | GPT-4oが、2本の記事のどちらでも答えられる短い質問を自動で作成 |
| 質問の質の確認 | 人手で50問を確認。記事が質問に関連すると判定された割合は、左92%、右94%。どちらがより関連するかを選ぶ形式では、94%が「同等」 |
| 調べたAI | GPT-4o、GPT-4o-mini、Llama-3.1-8B-Instruct、Qwen2.5-7B-Instruct、Qwen2.5-14B-Instruct の5つ |
| 手順 | 質問と2本の記事を渡し、引用つきで1つの回答を書かせて、どちらが引用されたかを数える。並び順の影響を避けるため、順序を入れ替えて2回実行。温度0.5、5回繰り返して平均 |
2024年の記事を使ったのは、調べるAIの学習データに記事が入っていない可能性を高めるためです。論文は、主要なモデルの学習の締め切りが2024年より前だと説明しています。
偏りの測り方:引用選好指数(CPI)
論文は、偏りを次の式で表しています。
CPI = (左寄りの引用数 – 右寄りの引用数)÷(左寄りの引用数 + 右寄りの引用数)× 100
値の範囲は-100〜+100です。0なら左右が均等で、プラスなら左寄りの記事を多く引用し、マイナスなら右寄りを多く引用したことを表します。
原因を切り分ける3つの条件
- 通常:記事の本文と、媒体名の両方を見せる
- 媒体名を消す:媒体名を取り除き、本文だけを見せる
- 媒体名を入れ替える:本文はそのままで、左寄りの記事に右寄りの媒体名を、右寄りの記事に左寄りの媒体名を付ける
「中身が効いている」なら、媒体名を消しても偏りは残るはずです。
「媒体名が効いている」なら、消せば偏りは縮み、入れ替えれば引用が媒体名のほうについていくはずです。論文はこの2つの見方を仮説として立て、比べています。
結果
1. 5つのモデルすべてで、左寄りの記事が多く引用された
表3の値です。右端の列は、CPIを左寄りの引用の割合に直した私の概算です(割合 =(1 + CPI÷100)÷ 2)。
| モデル | CPI(5回の平均) | 95%信頼区間 | 左寄りの引用の割合(概算) |
|---|---|---|---|
| GPT-4o-mini | 6.81 | 5.63〜7.98 | 約53% |
| GPT-4o | 9.15 | 8.09〜10.21 | 約55% |
| Llama-3.1-8B-Instruct | 6.69 | 5.62〜7.76 | 約53% |
| Qwen2.5-7B-Instruct | 4.97 | 4.17〜5.77 | 約52% |
| Qwen2.5-14B-Instruct | 10.64 | 8.49〜12.79 | 約55% |
- 5つすべてでCPIがプラスで、統計的にも0と区別できる差でした(p値は0.0001〜0.0006。小さいほど、偶然では説明しにくい差です)
- 同じ系列で比べると、GPT-4oはGPT-4o-miniより、Qwen2.5-14BはQwen2.5-7Bより、値が大きくなりました。論文は「大きいモデルほど偏りが強い」と読んでいます
- 差は同じ向きにそろっていますが、大きさは小さく、左寄りの引用は半分を少し超える程度です
2. 媒体名を消す、入れ替えると、偏りが縮んだ
付録の表6(中立の質問の列)と、本文の図2の値です。本文の表3と数値が一致することを、原文で確かめました。
| モデル | 通常 | 媒体名を消す | 媒体名を入れ替える |
|---|---|---|---|
| GPT-4o-mini | 6.81 | 2.08 | -0.74 |
| GPT-4o | 9.15 | 5.12 | 2.70 |
| Llama-3.1-8B-Instruct | 6.69 | 1.40 | -4.72 |
| Qwen2.5-7B-Instruct | 4.97 | 1.21 | -2.75 |
| Qwen2.5-14B-Instruct | 10.64 | 4.10 | -3.28 |
- 媒体名を消すと、5つすべてで値が下がりました。ただし0にはならず、1.21〜5.12が残っています。論文は「本文も少しは影響している」と述べています
- 媒体名を入れ替えると、さらに下がりました。GPT-4oだけプラスのまま(2.70)で、ほかの4つは0付近かマイナスです
- 論文は「入れ替えで偏りがほぼ完全に逆転する」と書いています。ただし表の数字を見ると、プラスが残ったモデルを除けば0付近か小さなマイナスにとどまり、大きく反対側へ振れたわけではありません
- 左寄りの質問・右寄りの質問を使った追加実験(付録A.2)でも、主な結論は保たれています。通常の条件のCPIは、左寄りの質問で約15〜28、右寄りの質問で約-7〜-21でした。左寄りの質問では、5つのAIすべてで「通常→媒体名を消す→入れ替える」の順にCPIが下がりました。右寄りの質問では、AIによって動きがまちまちです
3. AIは、媒体名から傾向を当てられるが、本文だけでは当てにくい
論文は、AIに「この記事の政治的な傾向は左か右か」を当てさせ、正解率(全体)を3つの条件で測りました(表4)。
| モデル | 本文だけ | 本文+媒体名 | 媒体名だけ |
|---|---|---|---|
| GPT-4o-mini | 58.31% | 79.13% | 97.69% |
| GPT-4o | 63.63% | 95.06% | 99.84% |
| Llama-3.1-8B-Instruct | 58.57% | 68.13% | 96.29% |
| Qwen2.5-7B-Instruct | 54.35% | 60.71% | 81.34% |
| Qwen2.5-14B-Instruct | 56.51% | 72.10% | 92.86% |
- 各質問に左寄り1本と右寄り1本が入っているため、当て推量なら50%前後になります(私の補足)。本文だけの正解率は54〜64%で、その少し上です
- 媒体名だけを見せたときの正解率は81〜99.84%でした。論文は、媒体名と政治的傾向の結びつきを、学習の段階で覚えているためだと推測しています
- 本文と媒体名の両方を見せると、媒体名だけのときよりも正解率が下がりました。論文は、本文が判断をあいまいにすると解釈しています
4. 従来型の検索モデルは、偏りが小さかった
論文は、従来型の検索モデル(質問に合う文書を探す仕組み)6種類(BM25、BGE、Contriever、TAS-B、coCondenser、RetroMAE)でも同じ3条件を試しています(表5)。CPIは-3.13〜+3.28の範囲に収まり、プラスとマイナスが混在しました。
論文は、検索モデルはAIの引用より偏りが小さく、媒体名を入れ替えたときの変化も小さいと書いています。ここは「引用生成のAIは媒体名の影響を強く受ける」という主張の対照として使われています。
5. 「偏らないで」と指示しても、減らなかった
論文は2種類の指示を試しています。1つは、「回答と引用が偏りや固定観念に頼らないようにしてください」という趣旨の一文を足す方法です。
もう1つは、先に各記事の偏りを分析させてから回答させる方法です。
結果は、ほとんどの場合で偏りが減らず、むしろ増えました(図3、付録の図5)。
数値は図にのみ示され、本文に数字はありません。論文は、プロンプトの工夫だけでは足りず、学習の段階での調整が必要だと述べています。
媒体名を取り除く方法についても、論文は「現実的ではない」と述べています。媒体名は情報の信頼性を見分ける手がかりでもあり、消すと信頼できない情報源を引用しやすくなる恐れがあるからです。
論文自身が書いている限界
論文は「限界」の節で、次の点を挙げています。
- 英語のデータだけを分析しており、他の言語で同じ偏りが出るかは未確認です
- 米国の読者の視点が中心です。評価サイトのラベルが米国の読者の見方を反映しているためです
- 政治的な傾向を左と右の2分類に単純化しました。元のラベルは5段階です
- 正解の傾向ラベルは媒体単位の評価で、個々の記事の立場と一致しない場合があります
このほか付録A.1では、本研究を予備的な調査と位置づけ、複数の引用に位置の重みを付ける指標を今後の課題としています。
また、論文の倫理の節は、結果を特定の政治的立場への支持や批判として読まないよう求めています。
原文を読んで気づいた点
ここからは、論文の主張ではなく、私が原文を読んで気づいたことです。
- 日本語での検証はありません。日本の媒体や、日本の政治の文脈で同じことが起きるかは、この論文からは分かりません
- 2本の記事だけを渡す実験です。論文の脚注も、実際には多くの文書が使われると認めています。調べたAIも、GPT-4o系の2つと、7B〜14Bの小型の公開モデル3つです。実際に提供されている検索サービスの測定ではありません
- 採点はほぼ自動です。CPIは引用の自動集計、正解率は外部のラベルとの一致で測っています。人手の確認は質問の質の50問だけです。引用の解析がどれだけ正確かの検証は、本文には見当たりませんでした
- 「10.64%多く引用する」という論文の4.2節の言い方は、CPIの定義と厳密には合いません。CPIは差を合計で割った値です。左右の引用数の比に直すと約1.24倍です(1.1064÷0.8936、概算)
- 「大きいモデルほど偏りが強い」は、2組の比較です。同じ系列で比べたのはGPT-4oとGPT-4o-mini、Qwen2.5の14Bと7Bだけで、5つ全体がモデルの大きさの順に並んでいるわけではありません
- 媒体名だけの高い正解率は、正解が媒体単位のラベルだから出る面があります。媒体名を知っていればほぼ当たる作りです。この数字は、AIが媒体名と傾向の評価を結びつけて覚えていることを示しますが、記事を読む力の評価とは別物です
- 掲載状況:EMNLP 2025の本会議論文として、ACL Anthologyに収録されています。査読の内容そのものは、Anthologyのページには書かれていません。会議の種別から、査読を経た論文と読みました
- 著者は大学・研究機関の所属で、謝辞には公的な研究費が記されています。企業の自社報告ではありません
この論文から、言えること・言えないこと
| 言えること(論文の設定で確認された) | 言えないこと(論文では確認されていない) |
|---|---|
| 5つのモデルで、英語のニュース2本のうち左寄りと評価された媒体の記事が、やや多く引用された | 日本語や日本の媒体で、同じ傾向になること |
| 媒体名を消す・入れ替えると、引用の偏りが縮んだ | いま使われている実際の検索サービスで、同じ大きさの偏りがあること |
| AIは媒体名から、外部のラベルに沿った傾向を高い精度で言い当てた(81〜99.84%) | 媒体名だけが原因であること(消しても偏りは残った) |
| 「偏らないで」という指示の追加では、偏りは減らなかった | どちらの傾向の引用が望ましいか、どの媒体が正しいか |
| 検索モデルは、AIの引用より偏りが小さかった | 引用の偏りが読み手の考えや行動を動かすこと、企業や店舗のサイトの引用でも同じ仕組みが働くこと |
「CPIが10」は、左右の引用数の差が合計の10%という意味です。「左寄りが10%多く出る」や「アクセスが10%動く」とは別の話です。
中小企業の視点で、どう受け取るか
ここからは、論文の主張とは別の、私の読み取りです。
- 政治ニュースの結果を、自社のページにそのまま当てはめない。論文が測ったのは、ニュース記事の政治的な傾向と引用の関係です。商品やサービスの紹介ページでも同じことが起きるかは、この論文では確かめられていません
- AIが本文だけでなく、「どこが出している情報か」も手がかりにしている可能性は、頭に置いておく価値があります。確度は弱い読み取りです。運営者の名前、所在地、実績が、初めて来た人にも1分で分かるページになっているかを点検できます
- 運営者情報を隠すのは、前の項目と逆の方向です。論文は、媒体名が信頼性の手がかりにもなると述べています。名前を出さないことで有利になる、という読み方はできません
- 自社の見え方は、実測で確かめるのが確実です。自社に関する質問をAIに投げ、どのページが引用されるかを定期的に記録しておくと、変えたことと結果のつながりを追えます。引用される側の書き換えを測った研究は、GEO原論文の解説で整理しています
よくある質問
この論文の引用選好指数(CPI)は、何を測った数字ですか
左寄りと右寄りの記事が1本ずつ渡されたとき、AIの引用がどちらに偏ったかを測った数字です。左の引用数と右の引用数の差を、合計で割って100倍します。
0なら均等で、プラスなら左寄りの引用が多いことを表します。引用される確率や、アクセスの増減を表す数字ではありません。
媒体名が引用に影響するという論文の結果は、日本語の記事にも当てはまりますか
この論文からは、分かりません。
分析したのは英語のニュースで、政治的な傾向のラベルも米国の読者の視点で付けられたものです。論文は、他の言語や他の国の報道環境での検証を、今後の課題としています。
AIに「偏りなく引用して」と指示すれば、LLMの引用の偏りは減りますか
論文の実験では、減りませんでした。指示を足した2つの方法のどちらでも、ほとんどの場合で偏りは減らず、むしろ増えています。
論文は、プロンプトでの調整は不十分で、学習の段階の見直しが必要だと述べています。ただし、試した指示は2種類のみで、調べたモデルも5つです。
まとめ:今日できる1つのこと
自社サイトの「会社概要」か「運営者情報」のページを1つ開いてください。初めて来た人が、誰がどこで何を提供しているのかを1分で読み取れるか、確かめます。
会社名、所在地、代表者、実績のうち、書かれていないものを1つだけ足します。
これは論文が直接すすめていることではなく、私の読み取りに基づく点検です。
効果は保証できません。足した前後でAIの回答に変化があるかを、記録に残しておくことをおすすめします。
この論文は、LLMO論文の一覧の一本です。ほかの論文の解説も、順次公開しています。
この記事に書いたことを、そのまま御社のページに
生成AIに引用されるページを、お話しいただくだけでお作りします。お時間をいただくのは初回15分のヒアリングだけです。まず1ページ、無料でお作りします。
OKが出るまで、何度でも直します。事実が違う、言い回しが硬い、この話は入れないでほしい。どれも遠慮なくおっしゃってください。何度お直ししても、追加の料金はいただきません。
これまでに127社にご利用いただきました。毎月ご依頼いただいている方の6割以上が、月10ページを選ばれています。料金はページに掲載しています。
ページを増やしても問い合わせが来ないなら、原因はページの外にあります。その場合は、下の入口からご相談ください。
自社のマーケティング課題を根本から解決しませんか?
ウェブサイトから要素を引き算し、訪れた人が迷わず次の一歩に進む形へ組み直す。初回60分のオンラインで御社のサイトを一緒に読み、どこから直すべきかをお伝えします。手順をまとめた無料の診断と解説動画もご用意しています。
初回は無料・60分・オンライン完結・その場で契約のお願いはいたしません


