【LLMO論文解説】AIの回答の出典を悪用して誤答を信用させる「引用ロンダリング」と、その防御を測った実験｜小型モデル6種・英語200問（プレプリント）

AIの回答には、「この情報は○○より」と出典が添えられます。読者はその出典を、答えが正しいかを確かめる手がかりにします。

2026年9月にarXivへ公開された「CiteShade」という論文は、この出典の表示そのものが攻撃の対象になりうることを、実験で示しました。

誤った答えを出させたうえで、その答えを、実際には支えていない信頼できる出典のせいにする手口です。論文はこれを「引用ロンダリング」と呼んでいます。

この記事では、仕組みと防御の考え方、数値の読み方に絞って整理し、再現に使える細部（文面の作り方など）は省きます。

合同会社謙虚は、3つのドメインを並行して運用し、何を変えると数字が動くかを測り続けています。AIの回答に自社が出典として出る時代に、「出典が付いていること」の意味を原文から確かめておくために、この論文を読みました。

結論：3行で言うと

• AIの回答に付く出典は、その出典が答えを決めたことの証明になっていません。論文は、誤答とその出典の表示を、別々に操作できることを実験で示しました
• 実験では、公開されている6つの小型モデルのうち、最も影響を受けたモデルで誤答と出典の表示が両方起きた割合が0.64〜0.84になりました。モデルによる差が大きく、ほぼ起きないモデルもありました
• 出典が答えを裏づけているかを調べる検査は、攻撃の大半は弾いたものの、正しい出典の約6割まで不合格にしました。論文は、出典を1つずつ外して答えがどう変わるかを見る検証を提案し、一定の効果を報告しています

ただし、実験は英語の質問、100問ずつ、小型の公開モデルで行われました。測ったのは実験用の環境だけです。

この論文の基本情報

項目	内容
題名（原題）	CiteShade: Citation Laundering in Multi-Source Retrieval-Augmented Generation and Its Counterfactual Defense
著者	Fuzheng Guo（1人。所属は香港城市大学）
公開日	2026年9月14日（初版のみ）
arXiv番号	2609.15660（分野はセキュリティ）
掲載・採択状況	arXivのプレプリント（査読を経た論文ではありません）。arXivのcomment欄に書かれているのは「17ページ、図4、表18」だけで、会議や論文誌の名前は空欄です。PDFの書式は人工知能系の学会（AAAI）の形式です
種類	攻撃手法の提案と、防御の評価（実験論文）
実験データ・コード	論文は「ベンチマークと評価コードを公開する」と書いていますが、公開先のURLは、PDFとarXivのページで見つかりませんでした（2026年11月6日に確認）

論文はこちらで読めます。arXiv（2609.15660）、DOI。

この論文が答えた問い

AIの回答に添えられた出典は、本当にその回答を生んだ出典なのか。回答の出典表示を、誤情報の側が悪用できるのか。

背景にあるのは、RAGという仕組みです。質問を受けると、まず関連する資料を集め、その資料を読ませたうえでAIが回答を作ります。

この仕組みでは、回答の文ごとに「どの資料から」を示せます。利用者はこの表示を、確認のための手がかりにします。

ところが論文は、出典の表示が、答えの中身とは別の過程で作られると指摘します。そのため、表示されている出典と、答えを実際に左右した資料がずれる余地があります。

これまでのRAGへの攻撃の研究は、答えを間違わせることに注目していました。この論文は、間違った答えに「信用できる出典」の見た目を付ける点を、新しい攻撃面として扱います。

どうやって調べたのか

想定した攻撃者

論文が想定する攻撃者は、AIが参照する資料のうち、1つだけを書ける立場の人です。たとえば、自分で管理しているページを1つ持っている、といった位置にいます。

触れるのは、自分の資料1つだけです。正解を支える資料は、そのまま残っています。

攻撃者の目的は、決めておいた誤答を出させ、その回答に「正しい内容を載せた、信用できる別の資料」の出典を付けさせることです。

攻撃の考え方（仕組みの要約）

論文は、攻撃が成立するための条件を3つに整理しています。

1. 検索：攻撃者の資料が、質問に対して拾われること
2. 生成：その資料を読んだAIが、狙われた誤答を出すこと
3. 引用：AIが、狙った信用できる資料の出典を付けること

実験では、3つ目の引用の条件が最も難しい条件でした。誤答を出させることよりも、「どの出典を付けさせるか」を動かすことのほうが難しかったのです。

論文が挙げる手がかりのうち、完成形が使うのは2つです。AIは出典の並び順に偏りを持ち、文書の中に出典の目印が書かれていると、それを回答にも写す傾向がありました。

論文は、この2つを使った構成を、完成形の攻撃としています。指示を含まない自然な文章でできている点が、特徴として強調されています。

実験の設定

項目	設定
質問集	MultiModalQAとHotpotQA。複数の資料を組み合わせて答える英語の質問。各100問
1問あたりの資料	3つ。正解を支える資料が2つと、攻撃者が差し替える資料が1つ
回答を作るAI	公開されている6つの小型モデル（Qwen2.5-VL-3B、Qwen2-VL-2B、Qwen3-4B、Qwen3-8B、Phi-4-mini、Gemma-4-E4B）
誤答率	狙った誤答が回答に含まれる割合
狙った出典の引用率	狙った信用できる資料の出典が付く割合
引用ロンダリング率	上の2つが両方起きた割合。論文はこれを主な指標にしています
判定方法	回答に誤答の文字列が含まれるかを機械的に見る方式

比較のために、攻撃の構成を9通り用意しています。何もしない場合、無作為に単語を並べ替えた場合、短い一文だけの場合、明示的な指示を入れた場合、完成形、などです。

資料の取得は、別の実験で確かめています。約500件の資料から探すと、AIが書いた自然な文書は上位5件に97%、一文だけの短い文書は26〜39%の割合で入りました。

結果

攻撃は成立した。ただしモデルで大きく違う

最初の質問集の100問で、基準となるモデル（Qwen2.5-VL-3B）を見ます。攻撃なしの誤答率は0.01で、完成形の攻撃を入れると0.68に上がりました。

この数字は誤答だけの割合です。誤答に狙った出典まで付いた割合（引用ロンダリング率）は0.13にとどまります。

6つのモデルを比べると、次のようになります（MultiModalQA、各100問。数値は論文の表1と表6）。

モデル	攻撃なしの引用率	完成形：誤答率	完成形：引用ロンダリング率	明示的な指示あり：引用ロンダリング率
Qwen2.5-VL-3B	0.25	0.68	0.13	0.13
Qwen2-VL-2B	0.01	0.48	0.00	0.01
Qwen3-4B	0.65	0.91	0.30	0.32
Qwen3-8B	0.60	0.80	0.09	0.47
Phi-4-mini	0.41	0.88	0.27	0.41
Gemma-4-E4B	0.36	0.85	0.64	0.84

• 論文の要旨にある「0.84」は、攻撃者が文書に出典の指定を書き込む、指示ありの条件の数字です。論文自身が、指示なしの結果として読まないよう注意しています。指示なしの完成形は、同じモデルで0.64です
• 標準的な形式の出典をほとんど出さないモデル（Qwen2-VL-2B）は、引用ロンダリング率が0.00〜0.01でした。誤答率は0.48まで上がっていて、誤答は起きています。ただ出典を付けないので、ロンダリングは成立しません
• 論文は、出典を付けやすいモデルほど被害を受けやすい、と主張します。ただし、表の数字は、この主張とそろっていない箇所があります（後の「原文を読んで気づいた点」を参照）

完成形のどこが効いているのか

基準モデルで、構成要素を足しながら見た結果が次の表です（MultiModalQA、100問）。

攻撃の構成	誤答率	狙った出典の引用率	引用ロンダリング率
攻撃なし	0.01	0.25	0.00
自然な文書だけ	0.55	0.13	0.01
文書に、出典名を結びつける一文を足す	0.62	0.14	原文に記載なし
完成形（上に加えて、出典の並び順も利用）	0.68	0.25	0.13

自然な文書を差し込むだけで、誤答は55%まで起きます。しかし、狙った出典はほとんど引用されず、ロンダリングは1%にとどまりました。

論文はここから、誤答を出させることは比較的やさしく、どの出典を付けさせるかが攻撃の限界を決めると読んでいます。

出典の並び順の影響も測られています。攻撃なしの場合に、2番目の出典が引用される割合は25%、1番目は6%、3番目は20%でした。

論文は、狙う出典を引用されやすい位置に置くと、引用ロンダリング率が上がると述べています。

「出典が答えを決めた」かを、資料を外して確かめた

論文は、資料を1つずつ外して回答がどう変わるかを調べる方法で、答えに効いた資料を調べました。

• 誤答が出た回答のうち、各構成20件ずつを調べると、答えに最も効いていたのは、攻撃者の資料でした（20件すべて）。無作為に単語を並べ替えた対照では、誤答が1件しか起きず、比較できません
• 引用ロンダリングと判定された回答では、様子が変わります。完成形では13件のうち、攻撃者の資料が答えを決めたのは5件でした
• 別の7件では、引用された信用できる資料のほうが答えに最も効いていて、論文の定義では「正直な引用」に当たります。この定義で数え直すと、引用ロンダリング率は0.13から0.05に下がります

論文は、攻撃文書を普通の参考資料に近づけるほど、モデルが信用できる資料も実際に使う、と説明しています。

防御は効いたのか

防御	見るもの	結果
文章の不自然さ（パープレキシティ）の検査	資料の文章が、機械的に作られた不自然な文章でないか	通常の文章は10.3、AIが書いた攻撃文書は12.2〜14.7で、通常の範囲内でした。型どおりの短い文は23.3〜183.4で区別できました
引用の裏づけの検査	引用された出典が、その主張を支えているか	攻撃なしの正しい出典も、49件のうち29件（約59%）を不合格にしました。完成形の攻撃は、46件のうち37件を不合格にしつつ、13件のロンダリングのうち2件を見逃しました
反事実的な検証（論文の提案）	資料を1つずつ外した場合の回答の変化と、引用との食い違い	下の本文を参照

引用の裏づけの検査は、引用された出典だけを見ます。この攻撃では、引用された出典は本物の資料で、誤答の根拠が書かれていないだけです。

この検査が見ているのは引用先の中身だけで、答えの出どころは視野の外です。

論文が提案する防御：どの資料が答えを動かしたかを確かめる

提案された防御は、回答を作るたびに、資料を1つずつ外して回答を作り直します。そして、答えに最も効いた資料と、引用された出典が食い違えば、疑わしい回答として扱います。

• 基準モデルでは、攻撃者が明示的な指示を入れた型で、引用ロンダリング率が0.13から0.03に下がりました（見逃さなかった割合0.77、正しい引用を誤って疑う割合0.064）
• 完成形の攻撃では、0.13から0.07に下がりました。ただし、見逃さなかった割合は0.46、誤って疑う割合は0.15です。論文は、こちらを現実的な数字とし、指示ありの数字を上限として扱っています
• 疑わしい回答で最も効いた資料を外して作り直すと、正解が戻る場合が約4割ありました
• 費用は、回答1件あたり、資料の数に1を足した回数（今回は4回）のAIの計算が必要です

この防御には、論文自身が認める弱点もあります。それは次の章で整理します。

論文自身が書いている限界

• 防御が効きにくいモデルがある：普段の出典がすでに答えの根拠と食い違っているモデルでは、検出の基準値を合わせる作業が難しくなります。強く出典を付けるモデルで基準値を合わせると、見逃さない割合は0になり、基準値をゼロにすると、正しい出典を疑う割合が0.28〜0.45になりました。論文は、防御が最も役立つのは、必要性が最も低いモデルだと書いています
• 攻撃者が防御に合わせて対策すると、効果が薄れる：攻撃者が防御を知ったうえで文書を調整すると、引用ロンダリング率は0.13から0.21に上がりました（約1.6倍）。防御後も、0.07から0.12へ残ります
• 測り方の限界：各セルは100問で、0.13は13件です。数ポイントの差は信頼できないと、論文が書いています
• 人の確認が少ない：引用ロンダリングと判定した22件を、著者自身が確認しています。第三者による盲検の確認はなく、論文もこれを限界としています
• 目標の誤答の混入：100問のうち5問では、狙った誤答が資料のどこかに出ていて、結果の数字が最大1件分、大きく出る可能性があります
• 範囲：実験は文章と表の資料で、画像を含む設定は、結果の対象外です。回答は毎回同じ答えが出る設定（貪欲復号）だけで作られていて、複数の誤答を同時に狙う場合は未検証です

原文を読んで気づいた点

• 検証は英語だけです。質問も資料も英語です。日本語のAI検索で同じ傾向が出るかは、この論文から分かりません
• 測定の場は、実験用の環境です。使ったのは、2B〜8B規模の公開モデルです。ChatGPTやGeminiなど、実際のAI検索の挙動は測られていません
• 評価は自動採点が中心です。文字列が含まれるかで判定していて、「答えは○○ではない」と否定した回答も成功と数える余地があります（論文が認めています）
• 査読の前の段階です。1人の著者によるプレプリントで、効果の大きさは、他の研究者による再現を待つ段階です
• 「出典を付けやすいモデルほど危ない」には、表と食い違う箇所があります。攻撃なしの引用率が0.60のQwen3-8Bでは、完成形の引用ロンダリング率が0.09です。0.41のPhi-4-miniの0.27より低く、0.36のGemma-4-E4Bの0.64より大きく下回ります
• 「3〜4倍」の記述は、表と食い違っています。本文は、狙う出典の位置を1番目から2番目に変えると、引用ロンダリング率が全構成で3〜4倍になると書きます。しかし表10では、出典名を名指しする短い一文の構成が0.06から0.11（約1.8倍）、指示を入れた構成が0.03から0.13（約4.3倍）で、差があります。誤答だけを狙った構成は0.00から0.09、複数を組み合わせた構成は0.01から0.09です
• 「すべての場合で攻撃者の資料が原因」は、条件つきです。要旨の「すべての測定例で」は、誤答が出た回答のうち各構成20件の結果です。引用ロンダリングの13件で見ると5件にとどまります（本文と付録の数字の読み分けが必要です）
• 13件の内訳は、足し算で1件足りません。完成形で、攻撃者が原因は5件、引用された出典が原因は7件と書かれていて、合計12件です。残り1件の扱いは書かれていません

この論文から、言えること・言えないこと

言えること	言えないこと
出典が付いていることは、その出典が答えを決めたことを意味しない（この実験の設定では、起こりうる）	ChatGPTなどの実際のAI検索で、同じ攻撃が成立すること
6つの小型モデルで、誤答とロンダリングの起きやすさに大きな差があった	モデルが大きいほど安全、あるいは危険であること
出典の裏づけの検査と、文章の不自然さの検査は、この攻撃への単独の対策として足りない	提案された防御で、攻撃を防げること（攻撃者が対策すると効果が薄れる）
資料を外して回答の変化を見る方法は、見分けの手がかりになる	日本語のサイトや、日本の中小企業のページで同じ結果が出ること

中小企業の視点で、どう受け取るか

ここからは論文の主張とは別の、私の読み取りです。

1. 「AIに出典として出た」を、成果の証拠と読みすぎない

自社ページがAIの回答に引用されたとき、その回答が自社ページの内容と合っているかは別の問題です。論文の実験では、出典と答えの中身が食い違う場合が実際に測られています。

件数だけでなく、「回答の中身が自社の主張と合っているか」を、定期的に目で確かめる価値があります。

2. 自社名が「信用の借り先」にされる可能性がある

この攻撃で、出典として使われるのは、信用がある本物の資料です。信頼を積み上げた企業のページほど、借りられる側になりうると考えられます。

自社ページの出典が付いた回答を時々見直し、身に覚えのない主張が自社のせいにされていないかを確かめておくと、早めに気づけます。

3. この論文を、競合を貶める手段として読まない

この論文は、防御を考えるための研究です。他社の評判を傷つける目的で真似することは、倫理の面でも、自社への信頼の面でも、損になると考えます。

謙虚が扱うのは、あくまで自社の情報を正確に、見つけやすく整えるための知見です。

よくある質問

引用ロンダリング（CiteShade）とは、どんな攻撃ですか

誤った答えを出させ、その答えに、実際には根拠を書いていない信用できる資料の出典を付けさせる攻撃です。

論文は、出典が付くことで誤りが「根拠のある答え」に見える点を問題にしています。

引用ロンダリングの防御（反事実的な検証）は、実際のAI検索に使われていますか

論文が示したのは、公開されている小型モデルでの実験結果です。導入されているかどうかは、論文の対象外です。

効果も、モデルや攻撃の型で大きく変わりました。完成形の攻撃では、引用ロンダリング率が0.13から0.07に下がった一方、攻撃者が対策すると効果が薄れました。

CiteShadeの研究は、自社サイトの運営者に関係がありますか

今すぐの対策を迫る内容ではなく、確認の習慣づくりに役立つ内容です。出典の表示が答えの根拠を保証しないことは、AI検索を成果指標にする運営者が知っておく事実です。

まずは、自社名が出る回答を定期的に読んで確かめるところから始められます。

まとめ：今日できる1つのこと

自社名で、AIに質問を2〜3個投げてみてください。

自社ページが出典に出た回答があれば、その回答の中身が、出典のページに実際に書いてあるかを見比べます。

食い違いがあれば、その回答の日付・質問・画面を記録しておくと、次の確認で変化を測れます。

この論文は、LLMO論文の一覧の一本です。ほかの論文の解説も、順次公開しています。

ページを増やしても問い合わせが来ないなら、原因はページの外にあります。その場合は、下の入口からご相談ください。