【LLMO論文解説】ChatGPTの引用は検索候補からどう選ばれるか｜4つの設定の観察と、Google・APIでの再現の限界（プレプリント）

ChatGPTは、回答に載る出典より多くのページを検索で集め（画面に出ない補助のページも含みます）、その一部だけを出典に選んでいます。集められたページのうち、何が選ばれるのでしょうか。

この問いを、ChatGPT Webの通信の記録から調べたのが、2026年10月11日に公開された「Understanding ChatGPT Citations: Evidence from Production Web Search Across Model Generations」です。西安交通大学とシンガポール国立大学の研究者5人が、4つの設定で、検索語の書き換え、候補ページの取得、出典の選択を観察しました。

合同会社謙虚は、3つのドメインを並行して運用し、何を変えると数字が動くかを測り続けています。ChatGPTの出典が回ごとに入れ替わる様子と、外から測るときの限界を知るために、この論文を原文から読みました。

結論：3行で言うと

• 検索の動きは、設定ごとに違いました。5.3 Instantは1回の回答あたり平均1.06個の検索語でしたが、5.4 Thinkingは平均11.82個の検索語を、3.20回に分けて使っていました（5.4 Thinkingは質問の組が違う補助の設定です）
• 同じ質問を20回繰り返すと、候補ページは大きく入れ替わりました。それでも、多くの回で候補に入ったページほど、引用されやすい傾向がありました（観察であり、因果は示されていません）
• GoogleとOpenAIのAPIの結果を合わせても、ChatGPT Webが引用したURLのうち再現できたのは26.2〜28.3%でした。サイト名（ホスト名）の単位では48.7〜50.3%です

ただし、調べた質問は英語と中国語だけで、日本語は対象外です。引用されやすくする方法の効果も、論文の検証の範囲外です。

この論文の基本情報

論文はこちらで読めます。arXiv（2610.15382）。

この論文が答えた問い

ChatGPT Webは、検索語の書き換え、候補ページの取得、出典の選択をどう進めているのか。そして、外から見える信号で、その出典を予測できるのか。

これまでの測定研究は、最終的な回答に載った出典を比べるものが中心でした。論文は、回答の手前で何が起きているのか、設定が変わると動きがどう変わるのかが、あまり調べられていないと指摘します。

どうやって調べたのか

調べたのは、ブラウザで使う実際のサービスのChatGPT Webです。著者は、自分たちの画面が受け取る通信の記録から、実際に使われた検索語、取得されたページ、最後に選ばれた出典を取り出しました。

この記事では、論文の表記（chatgpt-5.3-instantなど）を「5.3 Instant」のように略します。Instantは素早く答える設定、Thinkingは時間をかけて考える設定です。

5.2 Instantと5.4 Thinkingは、集め終える前に提供が終わり、質問数と繰り返しが少なくなっています。5.4 Thinkingは質問の組が他と違うため補助の設定で、主な比較は、同じ80問を使った5.3 Instantと5.5 Instantです。

• 質問：Search Arena（検索機能つきAIの実際の利用を集めた約2.4万件の公開データセット）から80問を選びました。事実の確認、情報の統合、分析、おすすめの4種類が各20問で、各種類は中国語10問と英語10問です
• 期間：2026年3月29日から7月29日です。代用品の結果は、質問ごとにChatGPT Webと同じ3日間の中で集めました
• 代用品その1：Google Searchの検索結果を5ページ分（1問平均43.2件）。外部のサービスを通じて取得しました
• 代用品その2：OpenAI Responses API。GPT-5.3の最新チャット用モデルとGPT-5.5に、Web検索を使わせました。質問ごとに20回ずつ呼び出しています
• 3つの見方：URL、ホスト名（サブドメインも区別します）、エンティティ（ページに出てくる企業・製品・人物などの名前）
• 「引用」の範囲：画面に表示される出典に加えて、選ばれた出典にぶら下がる補助のページも、引用として数えています

代用品の良し悪しは、適合率（代用品に載ったもののうち、ChatGPT Webが20回のどこかで引用した割合）と、再現率（ChatGPT Webが引用したもののうち、代用品に載っていた割合）で測っています。

結果

1. 検索語の書き換えは、設定ごとに大きく違う

5.3 Instantの検索語は、1,600回のうち1,339回で確認できました。

• Instantの3つの設定は、ほとんどが1回の検索で終わっていました。5.4 Thinkingの検索語は、5.3 Instantの約11倍です（11.82÷1.06による概算）
• 5.4 Thinkingで2回以上検索した割合は、情報の統合で87.6%、事実の確認で10.8%でした。2回目以降はサイト指定の検索が25.1%から54.7%に増え、検索語が絞り込まれています。追加の検索で候補や引用が良くなるかは、論文の検証の範囲外です
• 中国語の質問に対して、5.3 Instantの67.0%、5.5 Instantの69.6%の回答は、英語だけで検索していました

2. 繰り返すと候補は入れ替わる。それでも、よく出る候補は引用されやすい

同じ質問を20回繰り返したとき、1回しか候補に出なかったURLは、5.3 Instantで40.8%、5.5 Instantで44.5%でした。20回のうち14回以上出た「安定した核」は、9.4%と7.7%です。

• 回答どうしの重なりの指標（0〜1）は、URLで0.303と0.292（5.3 Instantと5.5 Instant）、ホスト名で0.408と0.402でした。同じサイトのまま、中のページが入れ替わっているとみられます
• ある回の候補が、残り19回にどのくらい出ていたかで、その回の引用を見分けると、AUC（0.5が当てずっぽう、1が完全に見分けられる指標）は、5.3 InstantでURL 0.619、ホスト名 0.666、5.5 InstantでURL 0.651、ホスト名 0.709でした
• 検索結果の説明文（スニペット）が長いほど引用されやすい傾向も、AUC 0.612と0.625で見られました。引用された説明文の16.5%と16.9%が500字以上でした。引用されなかった説明文では1.5%と1.9%です

論文は、これらを観察された関係にとどめ、引用が増える原因だと結論づけることは控えています。

3. GoogleとOpenAIのAPIは、代用品としてどこまで使えるか

• Responses APIの候補が再現率で最も高く、Responses APIの引用が適合率で最も高くなりました。Google Search単独は、おおむね弱い結果です
• どの代用品も、URLよりホスト名とエンティティのほうが合っていました。Responses APIの候補の総合点（F1）は、URLで9.5%、ホスト名で19.9%です（5.3 Instant）
• GoogleとResponses APIの候補を合わせた再現率は、URLで26.2〜28.3%、ホスト名で48.7〜50.3%、エンティティで45.1〜50.7%でした

4. 外部の信号を合わせると、引用をどこまで当てられるか

著者は、GoogleとResponses APIの候補だけを対象に、ChatGPT Webが引用した候補と、しなかった候補を見分けるモデルを作りました。材料は、順位、何回出たか、Responses APIで引用された率、複数のURLの裏づけ、説明文の長さなどで、ChatGPT Web側の情報は材料から外してあります。

• 教師ありモデルは、6つの組み合わせのうち5つで最も高いAUCでした。引用だけを使う方法より、AUCが0.068〜0.110高くなっています
• 材料の重要度は、URLとホスト名では順位が最大で、5.3 Instantは49.7%と44.6%、5.5 Instantは34.9%と34.0%でした。エンティティでは、複数のURLに裏づけられているかが最大です

この予測は、外部の候補に入っていた範囲の中の話です。候補に入らなかった引用は、予測の対象の外です。

論文自身が書いている限界

この論文では、限界が独立の節にまとめられず、本文の各所に書かれています。

• 観察研究なので、因果関係は未確認です。何回も出る候補の引用されやすさ、説明文の長さ、予測の材料の重要度は、関係の記述にとどまります
• GEOの手法の効果は、評価の対象外です。論文は「自分たちの研究はGEOの戦略を直接評価するものではない」と述べています。手法の効果を測った研究は、GEO原論文の解説で扱いました
• 設定どうしの違いから、モデル更新の効果だけを取り出すことは、論文もできないとしています。ある設定で測った信号が別の設定にそのまま通用するとは限らない、という書き方です
• 引用の範囲が広くなっています。表示される出典に加えて補助のページも数えているため、利用者に見える引用より広い範囲の話です
• 予測は、外部の候補に入ったものの中に限られます。ブランドとそれ以外のエンティティは、まとめて評価しています
• 対象はChatGPT Webだけです

原文を読んで気づいた点

• 日本語の質問は調査の対象外です。質問は中国語40問と英語40問です。中国語の質問が英語で検索されることが多かった点も、日本語で同じかどうかは分かりません
• arXivのプレプリントで、学会名の記載はなく、査読の有無は確認できませんでした。論文に記載のコードの公開ページは匿名化されており、確認した時点では開けませんでした
• 質問は80問、種類ごとに20問です。5.2 Instantと5.4 Thinkingは質問数が少なく、提供も終わった設定です
• 引用のラベルは、通信の記録から機械的に付けています。エンティティの抽出は、言語処理ライブラリとGPT-4.1-miniによる自動処理で、人の目の点検は書かれていますが、規模や精度の数値は示されていません
• ChatGPT Webへのアクセスは、ログイン済みの著者自身のセッションと書かれています。地域や契約プランの条件は書かれていません
• 繰り返しの途中で、別のモデルに切り替わったセッションが2つあったと書かれています（対象のモデルで14回と16回成功した後）。切り替わった後の回を分析から除いたかは書かれていません
• 要旨の「GPT-5.3とGPT-5.5でAUCが0.74超」は、表ではInstantの設定の結果で、外部候補に入ったものの中での値です

なお、この論文は関連研究として、当サイトで解説したサーベイ論文を挙げています。見え方を段階に分けて考える点は共通で、実サービスの内部までは観察していない、という位置づけです。

この論文から、言えること・言えないこと

中小企業の視点で、どう受け取るか

ここからは論文の主張とは別の、私の読み取りです。この論文は引用されやすくする方法を検証の対象にしていないため、測り方の示唆として読みました。

• 複数回、複数の設定で測ります。同じ質問でも候補の半分近くが1回しか出ないなら、1回の確認は偶然の結果の可能性があります。設定が変わった後は、測り直しが必要です。詳しくはAIの回答は毎回変わる、という記事と、1回の測定では決められないという論文の解説にまとめています
• ページ、サイト、社名の3段で記録します。URLよりホスト名とエンティティのほうが安定していたので、自社の特定のページが出たかだけでなく、自社のサイトの別のページが出たか、社名やサービス名が回答に出たかも別々に残すと、変化が見えます。手順はChatGPTでの表示・引用の確かめ方の記事にあります
• 「検索に出た」と「引用された」を分けます。Google検索で見つかることと、ChatGPTの出典に載ることは別でした。順位の変化は、引用の成果と分けて記録します
• 日本語は日本語で確かめます。日本語の質問での確認は、これからの課題です。回答の出典に英語のページが混じるかどうかも一緒に記録しておくと、あとで比べられます

よくある質問

ChatGPT Webの引用を調べたこの論文の結果は、日本語の質問にも当てはまりますか

日本語での答えは、この論文からは得られません。質問は英語と中国語だけで、日本語の確認には別の調査が必要です。

ChatGPT Webの出典は、Google検索の上位に出ていれば引用されるのですか

論文の測定では、一致は一部にとどまりました。Google Searchの検索結果5ページ分が再現できたChatGPT Webの引用URLは、5.3 Instantで9.4%、5.5 Instantで6.4%で、論文も、検索結果に出ることと引用されることは別だと述べています。

ChatGPT Webの引用を予測するモデル（AUC 0.74超）で、自社のページが引用されるかを当てられますか

自社のページが引用されるかを当てるモデルではありません。外部の候補に入ったページの中で、引用された側と引用されなかった側を見分けるもので、質問は80問、材料の重要度も因果を示すものではありません。

まとめ：今日できる1つのこと

自社でいちばん聞かれたい質問を1つ選び、日を分けて数回、ChatGPTで試してください。出典に自社のページが出たか、サイトの別のページが出たか、社名が回答に出たかを、3つの欄に分けて記録します。

回数は自由で、論文は1問を20回試しています。少なくても、記録の形をそろえておけば、設定が変わった後の比較に使えます。

この論文は、LLMO論文の一覧の一本です。ほかの論文の解説も、順次公開しています。

ページを増やしても問い合わせが来ないなら、原因はページの外にあります。その場合は、下の入口からご相談ください。