【LLMO論文解説】ページの見せ方で、AIの引用は誰に回るか｜同じ事実を支える2ページを入れ替えた実験（プレプリント）

AIが答えを作るとき、同じ事実を支えるページが複数あっても、引用されるのはその一部です。では、どのページに引用が回るかは、何で決まるのでしょうか。

この問いを、実験で因果的に調べたのが、2026年9月に公開された論文「CITECHOICE: A Causal Audit of How Document Presentation Redistributes Citation Credit in Agentic Search」です。

この記事は、その論文を原文から読み、要点を整理します。数値は、論文が報告している値をそのまま拾いました。

私が計算した値には「概算」と書いています。

合同会社謙虚は、3つのドメインを並行して運用し、何を変えると数字が動くかを測り続けています。この論文は、見出しや箇条書きといった「ページの見せ方」の効果を、どこまで言えるかを慎重に区切っている点で、測り方の参考になります。

結論：3行で言うと

• 同じ事実を書いた2ページの片方を、見出しと箇条書きのある形に書き直すと、そのページが回答の中で引用される回数は1回答あたり+0.50回増えました。ただし、回答全体の引用数は増えず、もう一方のページの引用も減りませんでした
• そのページが引用に1回でも入るかどうかは、+4.5ポイントで、確定しませんでした。論文自身が「引用が一方に集中する」までを支持し、「新しく引用に入る」ことは確立していません
• 検索結果の上の方にあるページほど引用される差は大きく見えますが、並び順だけを入れ替えた実験では、その差は大きく縮み、追加の確認では0.0ポイントでした。AIの引用は、1回の生成ごとにぶれることも測られています

この論文の基本情報

項目	内容
原題	CITECHOICE: A Causal Audit of How Document Presentation Redistributes Citation Credit in Agentic Search
著者	Sriram Selvam、Anneswa Ghosh（2人）。所属はPDFの冒頭に記載がありません
公開	2026年9月14日（v1）。arXiv:2609.15164（分野はcs.CL、計算言語学）
掲載・採択状況	arXivのプレプリントです。arXivの情報にコメント欄の記載は無く、採択された学会や論文誌も、私が確認した範囲では見つかりませんでした
種類	実験による因果の監査（質問への回答をAIに作らせ、条件を1つだけ変えて比べる）
実験データ・コード	コード、指示文、集計に使った記録は、GitHubで公開されています。ただし、第三者のページ本文の完全な写しは、権利の都合で再配布できないと書かれています

論文はこちらで読めます。arXiv（2609.15164）、公開されているコードと記録（GitHub）。

この論文が答えた問い

複数のページが同じ事実を支えているとき、AIはどのページを引用し、その配分は「ページの見せ方」を変えると動くのか。

これまでの引用の研究は、主に「引用したページが、その文を本当に支えているか」を調べてきました。この論文は、その正しさを最初から固定します。

2つのページが、どちらも正しく同じ事実を支えている場面だけを選びます。

そのうえで、どちらに引用が回るかを「引用の配分」と呼び、調べます。GEOの原論文のように、ページを書き換えると目立ち方が変わる、という結果はすでにあります。

この論文は、書き換えの影響を、競り合うもう1ページと比べる形で測り直したものです。

どうやって調べたのか

流れは3段階です。まず、AIに実際に検索させて、本物の調べものの記録を集めます。

次に、同じ事実を支える2ページを選びます。最後に、その記録を固定したまま、片方のページの見せ方だけを変えて、回答を作り直します。

項目	内容
質問	日常の10分野から、500問の候補をもとに130問を選択。分野ごとに13問、聞き方は5通り（事実の列挙、一人称の相談、一次資料の要求、平易な質問、検索語に近い短い入力）
回答を作るAI	GPT-5.4を使う、検索機能つきのAI。1問につき最大15回、検索ごとに5件の結果を受け取る
集まった記録	129問で回答を取得。検索346回、ページ1,490本。1つの回答に付く引用は中央値で29個
比べる単位	同じ検索で返った2ページが、事前に決めた同じ事実を、原文の引用つきで支えている組。113組（89の「同じ事実に基づく質問のまとまり」）。人手の確認で、うち103組が本当に同じ命題を支えていると確認された
書き換えの対象	組の片方（機械的に決める）の本文を、散文（見出しも箇条書きも表も無い文章）と構造化（見出し、短い段落、箇条書きまたは表）の2通りに、同じ元の内容から書き直す。もう一方のページは書き換えない
もう1つの条件	2ページを受け取る順番（書き換えたほうが上か下か）
試行	2×2の4通りを1組ずつ再生して、合計452回。検索は再生中に行わず、変えた箇所以外は完全に同じであることを、記録の照合で確かめる

書き換えは、AI（Grok 4.3）が両方の版を同じ元の内容から作り、内容が変わっていないかを、同じAIの別の工程が7つの観点で確認しています。単語数の差は25%以内です。

構造化版は、散文版より平均1.5語少なくなりました。

主な指標は2つです。引用数は、書き換えたページに付いた引用の数です。

引用の有無は、そのページが1回でも引用されたかどうかです。効果は、組ごとに「構造化マイナス散文」の差を取り、質問のまとまり単位で平均しています。

結果

見せ方を変えると、引用数が増えた

構造化にしたページは、引用数が1回答あたり+0.50増えました（95%信頼区間 +0.20〜+0.84）。生の平均では、散文のとき2.69個、構造化のとき3.12個です（約16%の増加）。

この効果は、検定を16個同時に行う補正をかけても残った、2つのうちの1つです。補正後のp値は.033でした。

指標（構造化マイナス散文）	差	読み取れること
書き換えたページの引用数	+0.50 [+0.20, +0.84]	補正後も残った
回答全体の引用の数	-0.49 [-1.6, +0.6]	増えた形跡は無い（ゼロと区別できない）
引用された情報源の種類	-0.05 [-0.20, +0.11]	同上
もう一方のページの引用	-0.02 [-0.28, +0.24]	ほぼ変化なし（競合の平均は両条件とも4.01個）

つまり、引用の総量は変わらず、書き換えたページの取り分だけが増えた形です。論文はこの現象を「集中」と呼んでいます。

書き換えたページに付いた引用1,313個のうち、48.6%は、2ページが共通して支える事実に付いていました。残りは、そのページ固有の内容などに付いています。

構造化で増えた引用のうち、共通の事実に付いたのは+0.25個で、増えた分（+0.50）の約半分です。

この分類は、AIによる事後の分析です。

引用に入るかどうかは、確定しなかった

対象	差（ポイント）	読み取れること
全体（89のまとまり）。事前に決めた主な指標	+4.5 [-1.4, +10.4]	p=.168。確定しない。構造化が有利な18、散文が有利な10、変化なし61
人手で確認した103組のみ	+5.9 [+0.3, +12.0]	p=.066。方向は同じだが、確定とは言えない

論文は、この結果を「ゼロの証拠」とは読んでいません。観測されたばらつきのもとで、89のまとまりが80%の確率で検出できるのは、約8.5ポイント以上の効果だけだからです。

+4.5ポイントは、小さすぎて検出できなかった可能性が残ります。

また、引用数が増えた質問のまとまりを数えると、増えたのが37、変化なしが29、減ったのが23でした（中央値は0.00）。少数の外れ値ではなく、広く小さく動いた形ですが、全部のページで効く話ではありません。

検索結果の順位の差は、見かけより小さかった

調べものの記録の中で、初めて1番目に表示されたページは85.1%が引用され、5番目に表示されたページは42.8%でした。その差は42.3ポイントです。

ただし、上位のページは、質問に合う内容であることも多く、AIが自分で選んだ検索語の結果でもあります。順番そのものの効果とは限りません。

そこで、同じ2ページの並び順だけを入れ替えました。

比べ方	差（ポイント）	備考
観察された差（1番目と5番目）	42.3	順位と内容の質が絡み合った記述的な数字
並び順の入れ替え（本実験）	+7.9 [+1.1, +14.9]	補正後のp=.350。確定せず
並び順の入れ替え（別の56組で追加確認）	0.0 [-5.4, +5.4]	p=1.00

論文は、観察された差が本実験の推定値の約5倍であり、追加確認では再現しなかったことから、観察された順位の差は実際の効果を大きく見せている、と述べています。本実験では、入れ替える幅が2〜3段のときに約+13ポイント、4段の全面入れ替え（10組）で+30.0ポイントという値もありました。

ただし、これは探索的な分析で、因果的な用量反応とは言えず、追加確認ではどの幅でもゼロ近辺だった、と書かれています。

「箇条書きにすれば勝てる」という単純な仕組みは確認されなかった

論文は、構造化版に含まれる「言い回しの変化」を取り除く確認もしました。散文の単語をそのまま、1文ずつ箇条書きの行に並べ直した版です。

113組全体では、引用の有無が+6.7ポイント（p=.028）でした。ところが、繰り返し検証した30のまとまりでは、-1.7、-8.3、平均で-5.0ポイントと、向きが逆になりました。

論文は、箇条書きの記号だけが効く、という安定した仕組みは否定されたと述べています。

1回の回答は、ぶれる

同じ記録から回答を作り直し、元の回答と比べた120のセルでは、「書き換えたページが引用されたか」が一致したのは85.0%でした。7回に1回は、同じ条件でも結果が変わります。

引用の数まで一致したのは61.7%です。

1回だけの生成で得られる効果のばらつきのうち、約45%が、この生成のぶれによるものだと推定されています。30のまとまりを再生成すると、引用数の差は+0.54（元の生成）、+0.55（作り直し）、+0.55（2回の平均）と、全体の大きさは再現しました。

論文自身が書いている限界

• 条件が狭い。検索サービスは1つ（1回5件、本文は最大1万字）、記録を集めたAIとメインの回答役はどちらもGPT-5.4です。記録を固定した再生なので、公開側の編集が、検索での拾われ方や、その後の検索のやり直しを変えるかどうかは測れません
• 書き換えの比較は、言い回しの変化を含む。構造化と散文は、どちらもAIが書き直した版です。単語の並びを固定した確認は、箇条書きの1形式しか試しておらず、見出し付きの節、表、見た目、HTMLの構造は含みません
• 検出力が足りない。引用の有無の差が検出できるのは約8.5ポイント以上です。引用数の結果も、16個の副次的な検定の1つです
• 測っているのは「見えている引用」です。読者のアクセスや、AIが実際にそのページに頼ったかは測っていません
• 別のAIでの確認は弱い。Grok 4.3で同じ記録を再生すると、引用の有無は方向としては同じ（修復後に+5.6ポイント）でしたが、最初の回答のうち、引用の書式規則を満たしたのは44.7%でした。論文は、方向の確認にとどまり、大きさは別のAIには持ち込めないと述べています
• AIによる判定が残る。書き換えの内容確認、引用の振り分け、事実の表現の判定には、AIの誤りが含まれる可能性があります。書き換えの抜き取り確認23件も、AI補助でした
• 別の時期の実験とのずれ。先に行った100問の実験では、同じ質問のまとまりの効果が、2つの実験で負の相関（r = -.445）でした。論文は、効果は「事実」ではなく、特定の記録ごとの性質だと解釈しています
• 使い方への注意。公開側が「引用のための見せ方」だけを磨くことにつながり得るため、結果は最適化の指南ではなく、監査のための診断として示す、とあります

原文を読んで気づいた点

• 日本語は検証されていません。質問は日常の10分野ですが、論文に載っている例は英語の質問と英語のページで、日本語での検証は書かれていません。日本語のページでも同じとは、この論文からは言えません
• 実験環境と実サービスの差があります。調べたのは、特定のAIが5件の結果を受け取り、細かい引用の印を付ける設計です。引用がまばらな実サービスでは、見え方が違う可能性があると、論文も述べています
• 評価はほぼ自動採点です。同じ事実を支えているかの判定はAIが行い、人手で確認したのは、そのうち組の判定（103/113）です。書き換えの確認と、引用の振り分けは、AIの判定を含みます
• 査読の有無は確認できません。arXivの情報にコメント欄は無く、掲載先の記載もありません。書式は学会の論文に近い形ですが、採択の根拠は見つかりませんでした
• 引用数の再現は、作り直しだけで見ると、確定していません。30のまとまりの作り直し単独は+0.55でも、区間は[-0.03, +1.22]、p=.114です。元の生成との平均（p=.013）で見たときに、はっきり出ます
• 規模は大きくありません。独立した単位は89で、書き換えた本文は113本です。論文には、質問集の作成、実装、文章の整えにAIの助けを借りたと記載されています

この論文から、言えること・言えないこと

言えること	言えないこと
この実験の条件では、同じ事実を支える2ページのうち、構造化した版のほうが、1回答あたり約0.5回多く引用された	構造化すれば、自社のページが新しく引用に入る
回答全体の引用数は増えず、もう一方のページの引用も減らなかった	構造化が、読者のアクセスや問い合わせを増やす
検索結果の順位ごとの引用率の差は、並び順だけの効果より大きく見える	日本語のページ、別の検索サービス、別のAIでも同じ
1回の回答では、引用の有無が7回に1回ぶれる	箇条書きの記号そのものが引用を増やす
見せ方は、記録の中では引用の配分を動かし得る	この大きさが、実際の公開ページで再現する

中小企業の視点で、どう受け取るか

ここからは論文の主張とは別の、私の読み取りです。

1. 「構造化は無駄ではないが、入場券でもない」

この実験では、AIがすでに2ページを見つけ、どちらも同じ事実を支えていました。見出しや箇条書きは、その場面で、引用の取り合いに効いた可能性があります。

一方で、検索で拾われるかどうかは、この実験の範囲外です。まず、質問に答える内容が書かれていることが前提になります。

2. 順位の数字だけで一喜一憂しない

観察された上位ページの引用率は高く見えますが、並び順の入れ替えでは、その差の多くが説明できませんでした。「1位を取れば引用される」とは、この論文からは言えません。

3. 自社のAI引用を測るなら、同じ質問を何度も回す

1回の回答で、引用の有無が7回に1回ぶれるという測定があります。1回だけ試して「引用された」「されなかった」と判断すると、ぶれを効果と取り違えるおそれがあります。

同じ質問を複数回行い、一致の度合いも一緒に記録する運用が、安全な基本線です。

4. 書き直しは、内容を変えずに行う

この実験では、書き換えの前後で事実、数字、注意書きを変えないことが条件でした。見せ方を整える作業は、内容の正確さを保ったまま行うのが前提です。

もう1点あります。論文は、結果を最適化の指南としてではなく、引用の配分が見せ方に敏感であることへの注意として示しています。

よくある質問

CITECHOICEの結果は、見出しや箇条書きを増やせばAIに引用されやすくなるという意味ですか

そこまでは言えません。論文が支持しているのは、同じ事実を支える2ページが競っている場面で、構造化した版の引用数が1回答あたり+0.50増えたことです。

ページが引用に入るかどうかは+4.5ポイントで確定せず、箇条書きの記号だけが効く仕組みも否定されています。

CITECHOICEの実験は、日本語のページや日本の検索にも当てはまりますか

この論文からは確認できません。論文に載っている質問とページの例は英語で、検索サービスもAIも、それぞれ1つに限られています。

日本語での検証は、論文に書かれていません。

CITECHOICEが示した「引用のぶれ」は、AI引用の計測にどう影響しますか

1回の生成で見える効果のばらつきのうち、約45%は生成のぶれによる、という推定が示されています。引用の有無は7回に1回入れ替わるので、自社のページが引用されたかを測るときは、同じ質問を複数回行い、結果の一致率を見るほうが確かです。

まとめ：今日できる1つのこと

自社のページのうち、競合と同じ事実を書いているものを1本選び、見出しと短い段落、必要なら箇条書きや表で、内容を変えずに整理してください。

効果を見るときは、同じ質問を日を変えて複数回AIに聞き、引用された回数を記録します。1回の結果ではなく、回数の傾向で判断してください。

この論文は、LLMO論文の一覧の一本です。ほかの論文の解説も、順次公開しています。

ページを増やしても問い合わせが来ないなら、原因はページの外にあります。その場合は、下の入口からご相談ください。