【LLMO論文解説】日米の政治の質問で、AIが引用する公式サイトの割合を測った研究｜日本語の質問で約6割、英語で3〜4割（プレプリント）

2026年11月5日

AIが答えを作るとき、どんなページを根拠として引用しているのでしょうか。2025年10月に公開された論文「Exposing Citation Vulnerabilities in Generative Engines」は、日本とアメリカの政治の質問を使って、この「引用元の顔ぶれ」を調べた研究です。

この記事は、論文を原文から読み、何を測り、何が分かり、何が分かっていないのかを整理します。数値は論文の本文から拾い、私が計算したものには「概算」と書きます。

なお、同じ著者陣の続報が2026年8月に別の論文として公開されています。この記事は、最初の論文だけを扱います。

合同会社謙虚は、3つのドメインを並行して運用し、何を変えると数字が動くかを測り続けています。この論文を読むのは、日本語の質問で、AIが公式サイトと第三者のページをどんな割合で引用するのかという、数字の手がかりが得られるからです。

結論：3行で言うと

日本語の政治の質問では、3つのAIとも、質問に出てきた政党の公式サイトからの引用が約6割（60.9〜63.0%）でした。英語のアメリカの質問では27.0〜43.9%です
誰でも登録だけで投稿できる場所（投稿サイト、SNS、個人ブログなど）からの引用は、本文に数値が示された組み合わせでは7.2〜30.9%とAIと国で大きく違い（残りの組み合わせは図だけで、数値が読めません）、そうした引用は回答文との文の近さが低めでした
この論文は攻撃を実際に仕掛けた研究ではありません。引用元の種類から「悪意あるページが入り込む余地の大きさ」を見積もった研究です

また、結果は2025年9月4日に取った回答に基づく、政治の二択の質問での数字です。他の分野や、いま使われている画面のAIへの当てはめは、論文の対象外です。

この論文の基本情報

項目	内容
原題	Exposing Citation Vulnerabilities in Generative Engines
著者	Riku Mochizuki、Shusuke Komatsu、Souta Noguchi、Kazuto Ataka（4人。慶應義塾大学、奈良先端科学技術大学院大学、著者の所属企業）
公開日	初版2025年10月8日、改訂版（v2）2026年3月2日。この記事は改訂版を読みました
arXiv番号	2510.06823（分野は暗号とセキュリティ、cs.CR）
掲載・採択状況	採択前のプレプリントです。arXivのコメント欄には「12 pages, under-reviewing at a conference」とあり、会議に投稿して査読中、という意味です。採択されたとは書かれていません。PDFにも「Preprint（プレプリント）」と印字されています
種類	実験による調査研究。攻撃の実演ではなく、引用元の分類と集計
実験データ・コード	論文は匿名の公開リポジトリを挙げています（査読用の匿名版。参考文献5）

論文はこちらで読めます。arXiv（2510.06823）。

会議録のDOIは、確認した時点では見当たりませんでした。

この論文が答えた問い

論文が立てた問いは、2つです。

AIが回答に引用する根拠のうち、誰でも簡単に公開できる場所のページは、どれだけ含まれるのか。そして、そうしたページは回答の中身にどれだけ反映されるのか。

背景：「毒入れ」とは何か

論文が気にしているのは、ウェブ上に誤った情報や都合のよい情報を置いて、AIの回答を操作しようとする「毒入れ攻撃」と呼ばれる手口の存在です。AIが検索結果をそのまま回答の材料にするなら、材料の側に細工をされると、回答も影響を受けるおそれがあります。

ここで論文は、「攻撃がどれだけ効くか」を測る代わりに、別の物差しを考えました。AIが引用するページの運営者が、どんな種類の組織かを調べる方法です。

公式サイトや大学、政府のページは、第三者が勝手に書き換えることが難しい。一方で投稿サイトや個人ブログは、登録すれば誰でも載せられる。

この「載せやすさ」の違いを、論文は「content-injection barrier（内容を入れ込む難しさの壁）」と呼びます。

この壁が低い場所からの引用が多いほど、悪意あるページが紛れ込む余地は大きい、というのが論文の考え方です。ただし論文自身が、実際に攻撃が成功するかどうかは調べていないと明記しています。

どうやって調べたのか

実験の設定

項目	設定
調べた対象	OpenAIのGPT-5、Claude Sonnet 4、Gemini 2.0 Flash。いずれも検索機能を有効にしたAPIで利用
質問	政策10問、思想・理念10問の計20問のひな型。どれも二択を選ばせる形（例：債務の抑制と成長投資の、どちらを優先するか）で、政党名を差し込む
対象の政党	日本9党、アメリカ5党。日本は日本語、アメリカは英語で質問
質問の数と回答の数	日本180問、アメリカ100問の計280問。各質問を5回ずつ、3つのAIに尋ねて、回答は計4,200件
回答を取った日	2025年9月4日
引用元の運営者の判定	URLとドメインの登録情報をもとに、2つのAIが分類。2つの判定が割れたものは著者が確認して決定

質問のひな型は、特定の政党に有利にならないよう、論文が中立に作ったと述べています。この記事は、政党の評価に立ち入らず、引用元の割合だけを扱います。

論文によると、検索機能つきのAIでは温度（回答のばらつき具合）を設定できないとのことです。そのため、同じ質問でも引用元が変わります。

ばらつきを抑えるために、5回ずつ尋ねています。

引用元を、5つに分けた

区分	中身	壁の高さ
公式（一次情報）	質問に出てきた政党自身の公式サイト	–
対立する側	ほかの政党の公式サイト	–
低い壁	利用者や所有者が自由に投稿・編集できる場所（投稿サイト、SNS、個人ブログなど）	低
中くらいの壁	編集の工程を持つ報道機関や企業のサイト	中
高い壁	中立と客観が求められる大学・研究機関や、政府のサイト	高

一次情報とは、情報を出した本人が公開している元の資料のことです。その運営者が、何者かを判定したうえで集計しています。

回答との文の近さの測り方

もう1つの指標は、引用元のページの文と、回答の文が、どれだけ近いかです。文を数値の並びに変換するモデル（Sentence-BERT）で、文同士の近さを-1から1の値で出しています。

1つの引用元について、回答の文との組み合わせのうち最も近い値を採用し、3段階に分けています。0.9以上が「近い」、0.8以上0.9未満が「中くらい」、0.8未満が「遠い」です。

この区切りは、過去の研究で使われた値を借りたと論文は説明しています。

結果

公式サイトからの引用は、日本で多く、アメリカで少なかった

質問に出てきた政党の公式サイトからの引用が、全体の何%を占めたかです（論文5.2節の本文の数値）。

AI	日本語の質問（日本の政党）	英語の質問（アメリカの政党）
GPT-5	63.0%	43.9%
Gemini 2.0 Flash	60.9%	27.0%
Claude Sonnet 4	60.9%	28.1%

論文は、この範囲を場所によって違う書き方で示しています。要旨と結論は「アメリカ約25〜45%、日本60〜65%」、5.2節の文章（9ページ）は「アメリカは20〜40%の範囲」で、本文の数値（27.0〜43.9%）とは一致しません。

この記事は、本文の数値をそのまま使います。論文は、日本では3つのAIの値が約6割にそろい、アメリカでは公式サイトで足りない分を補う先がAIごとに分かれたと述べています。

残りの引用が、AIごとに違う場所へ向かった

公式サイトで足りない分を、どこから補うかはAIで違いました。論文の言葉では、Geminiは投稿サイト寄り、Claudeは報道寄り、GPT-5は分散型です。

AI	日本語の質問で論文が挙げた区分	英語の質問で論文が挙げた区分
Gemini 2.0 Flash	低い壁 19.9%	低い壁 30.9%
Claude Sonnet 4	中くらいの壁 19.3%	中くらいの壁 32.3%
GPT-5	中くらいの壁 17.7%、低い壁 7.2%	高い壁 24.3%、中くらいの壁 23.9%

論文の導入部（2ページ）と結論（13ページ）には、「低い壁の引用が約30%」という書き方があります。しかし本文の数値では、約30%に達するのはGeminiの英語の質問（30.9%）で、GPT-5の日本語の質問では7.2%です。

この食い違いは、後の章で触れます。

回答との文の近さ

図3（引用元の区分ごとに、近さの3段階の中身を示した図）から、論文は次のように読み取っています。

近い段階には、公式サイトと高い壁の引用が多い。逆に、中くらい以下の壁の第三者サイトは、その段階で比率が小さくなりました。この傾向は3つのAIに共通です
遠い段階には、第三者の中くらい以下の壁の引用が目立ちました。回答の文と引用元の文の結びつきが弱い、という読みです
日本語の質問では、GPT-5だけ「近い」段階が極めて狭く、引用の大半が「遠い」段階に集まりました
アメリカの質問では、「近い」段階にも第三者や高い壁の引用が大きな比率で入ります。公式サイトの比率は限られました

近さの段階ごとの数値は、図の形でのみ示されています。そのため、この記事は具体的な%を載せず、傾向だけを書きます。

論文による、国の違いの説明

論文は、アメリカで公式サイトの比率が下がる理由を、次のように推測しています。アメリカでは、大学の文書館、政府の統計、報道、集約サイトといった外部の情報が豊富で、AIがそちらへ向かいやすい、という説明です。

アメリカの質問の引用には、大学が運営する大統領関連文書のアーカイブからのものが多かったと、論文は述べています。数字は、GPT-5が29.0%、Geminiが23.2%、Claudeが47.8%です（11ページ）。

ただし、何に対する割合かは本文に書かれていません。全引用に対する割合だとすると、GPT-5の高い壁の合計（24.3%）を上回り、数字が合いません。

そのため、この記事は分母を断定せず、数字の紹介にとどめます。

論文は、同じ国の中でも、その国で規模の大きな主要政党では、公式サイトの比率が低めの傾向だったと記しています。検索のヒット件数が多いと、第三者のページも多くなるからではないか、という見立てです。

日本で最もヒット件数の多い政党は約4,710万件、ほかの政党の平均は約857万件（概算で約5.5倍）。ただし、アメリカの小政党の1つは、ヒット件数が二つの大政党よりずっと多いのに、公式サイトの比率も高く、この見立てには反例があるとも書いています。

論文自身が書いている限界

論文は、次の点を限界として挙げています。

対象が政治に限られる。質問は二択の形で、アメリカと日本だけです。健康や金融など、ほかの分野へ広げることを今後の課題としています
推論機能を使わないAIだけを調べた。検索機能とあわせて推論を使えるAPIがなかったためです
引用元の分類が粗い。同じ「報道」でも新聞社ごとに掲載の厳しさは違い、同じ「論文」でも査読つきと査読前では壁の高さが違いますが、そこまで分けていません
文の近さの測定は、言語をまたぐと比べにくい。Sentence-BERTの出来が言語で違う可能性があるため、日本と米国の近さの値を直接比べるのは慎重にすべきだと述べています。国内の比較は有効としています
検索エンジンの影響と、AI自身の影響を切り分けられない。APIが、AIの作った検索語や検索結果の全体を返さないためです

原文を読んで気づいた点

ここからは、論文の限界の一覧にない、私が気づいた点です。

攻撃は、試される前の段階です。論文は「攻撃が実際に成功するか」を調べていないと明記しています。「悪意あるページで回答を操作できた」という研究ではありません
導入部の「約30%」と本文の数値が合いません。低い壁の引用の比率は、本文ではAIと国で7.2〜30.9%にばらつきます。導入部の要約は、いちばん高い値に寄っています
ほかにも、論文の中で書き方が揃っていない箇所があります。アメリカの公式サイト比率は、要旨と結論が25〜45%、5.2節の文章が20〜40%、本文の数値が27.0〜43.9%です。近さの段階の境界も、4.2節の文章が「0.9以上／0.8以上0.9未満」、図3の説明文（10ページ）が「0.9より大きい／0.8より大きく0.9以下」と、等号の付き方が違います。この記事は、割合は本文の数値、境界は4.2節の文章の定義を使っています
引用の「近さ」は、内容が正しいかどうかとは別です。文の言い回しの近さを数えた指標なので、近さが低いからといって、その引用が誤りとは限りません
引用元の分類の正確さの検証は、本文では確認できませんでした。AIによる分類と、割れた場合の著者による判断で構成されています。別の人が付け直した一致率などは、見当たりませんでした
日本とアメリカの比較は、条件が複数ずれています。言語、政党の数（9と5）、検索で見つかるページの量がそれぞれ違います。国の違いだけが原因とは言い切れません
1日分の回答が元になっています。2025年9月4日の1日に、API経由で取った結果です。サービスの更新や、画面の製品版の動きとは同じとは限りません
検索ヒット件数の比較は、粗い手がかりです。政党名だけで検索した件数で、検索の表示件数は目安にとどまります
査読は、まだ済んでいません。arXivのコメント欄とPDFの書式から、プレプリントで、会議に投稿中の段階と読めます。採択の有無は確認できませんでした
arXivの掲載ページの要旨には、「よく知られた技術が、言語の違いで限定される」という趣旨の一文があります（PDFの要旨には、この一文がありません）。根拠は付録C（21〜22ページ、図4・表1）です。GPT-5だけを対象に、引用されたページと引用されなかったページを、リンク数、箇条書きの数、文章の密度、文章の長さで比べています。アメリカ（英語）はGEO論文の知見と同じ向きで、日本語は逆向きに見える項目（引用されたページのほうが文章が短い）があったと述べています。ただし、公式サイトの引用を増やせるかを試した実験ではありません。逆向きになる理由も、論文は言語や文化の違いなどの推測を挙げるだけです

この論文から、言えること・言えないこと

言えること	言えないこと
2025年9月の時点で、検索つきの3つのAIは、日本語の政党の質問で、公式サイトを約6割引用していました	AIに悪意あるページを読ませれば、回答を操作できる
英語のアメリカの質問では、公式サイトの比率が27.0〜43.9%に下がり、AIごとの違いが大きくなりました	日本のほうが安全で、アメリカのほうが危険だと実証できた（論文の結論は「アメリカの政治の回答は毒入れのリスクが高い」ですが、引用元の割合からの推定で、実際の攻撃の成否は比べていません）
誰でも載せられる場所からの引用は、回答の文と近い段階では比率が小さく、遠い段階で目立ちました	そうした引用は誤りだ、または回答に影響しない（論文は「それでも回答に影響している」とも述べる）
引用元の種類を壁の高さで分ける物差しを、1つ作った	この物差しが、政治以外の分野（商品やサービスの質問）でも成り立つ

中小企業の視点で、どう受け取るか

ここからは、論文の主張とは別の、私の読み取りです。論文の対象は政治の質問だけです。

会社の商品やサービスの質問は、実験の範囲の外にあります。

自社の公式サイトは、引用の候補として最優先で扱われる可能性があります。日本語の二択の質問では、質問に出てきた当事者の公式サイトが約6割を占めました。当事者の情報は、第三者に任せず、自社のサイトに書いておく意味があるという読み取りです。商品の質問で同じ割合になるかは、論文からは分かりません
公式サイトが、質問の範囲を覆っているかが分かれ目になります。論文は、AIが1つの質問を複数の検索語へ広げるため、公式側が関連する話題を広く載せていないと、AIは第三者のページで穴を埋めると述べています。これは論文の議論であり、実験で確かめたものではありません。自社のサイトに、お客様が実際に聞く周辺の質問への答えがあるかを見直す手がかりになります
第三者サイトの書かれ方も、自社の見え方に関わります。投稿サイトや個人ブログの引用が一定数あるなら、自社についての書き込みの内容も、回答の材料になりえます。確認できる範囲で、自社名で検索して、第三者のページの内容が事実と合っているかを見る習慣が役に立ちます
AIごとに引用の癖が違うと考えておくのが安全です。論文では、同じ質問でも、投稿サイト寄り、報道寄り、分散型と傾向が分かれました。1つのAIで試した結果を、ほかのAIにもそのまま当てはめない読み方が必要です