「買うなら1つだけ、どれですか」。論文は、こうした買い物の相談をAIに持ち込む人が増えていると述べています。
2026年9月に公開された論文は、この種の質問へのAIの答えを、実際に集めて比べました。
題名は「”If I Had to Buy Just ONE: Galaxy S26 Ultra”: Auditing AI-Generated Product Recommendations」といいます。題名にある製品名は、題名の引用としてそのまま記しています。
この記事は、論文を原文から読み、ChatGPT・Gemini・Google検索のAI Overviewsで、答え方と出典がどう違ったかを整理します。数値は、論文の本文と表から拾いました。
合同会社謙虚は、3つのドメインを並行して運用し、何を変えると数字が動くかを測り続けています。この論文を読む理由は、AIの答えを「1回の回答」で判断してよいのかを、商品の質問で確かめた調査だからです。
結論：3行で言うと
- ChatGPTは、商品を薦める回答の79%で「私のおすすめは」と一人称で言い切りました。Geminiは7%、AI Overviewsは2%です
- 同じ質問でも、画面に出る出典サイトの共通は、ChatGPTとGeminiの間で平均5.4%でした。繰り返すたびに、新しい出典が増えました
- APIで集めた結果は、利用者が見る画面の結果とは別物でした。ChatGPTの画面とAPIで共通したドメインは平均12.0%です
この論文の基本情報
| 項目 | 内容 |
|---|---|
| 原題 | “If I Had to Buy Just ONE: Galaxy S26 Ultra”: Auditing AI-Generated Product Recommendations |
| 著者 | Uberti-Bona Marin、Bertaglia ほか計8人（マーストリヒト大学、ユトレヒト大学、チューリッヒ大学の所属） |
| 公開 | 2026年9月16日（v1）。arXiv:2609.18729、分野はcs.CY（コンピュータと社会） |
| 掲載・採択 | arXivのコメント欄と掲載誌の欄に、学会や雑誌への採択の記載は、確認できた範囲で見つかりませんでした。プレプリントとして読みます |
| 種類 | AIサービスの出力を集めて比べる「監査」の調査。19ページ |
| データ・コード | 本文に公開先の記載は見当たりませんでした。質問集「ConsumerQ」の元になった2つの会話データは、公開データです |
論文はこちらで読めます。arXiv（2609.18729）、PDF。
著者の所属はすべて大学です。論文の1ページ目の脚注に、題名の製品の製造元から資金提供を受けていない旨の注記があります。
この論文が答えた問い
AIが商品を薦めるとき、答え方と出典はサービスごとにどれだけ違うのか。研究者や監督機関は、APIで集めたデータをその代わりにしてよいのか。
AIは検索と違い、商品を選び、出典をまとめ、ときには「私のおすすめ」として提示します。論文はここに、中立性への懸念があると述べています。
背景として、ChatGPTの広告拡大や、EUでのChatGPTの大規模検索エンジンへの指定にも触れています。論文は、この種の調査の結果が、消費者保護の議論にも使われると位置づけています。
問いは、次の3つに分かれています。
- 商品の薦め方は、サービスごと、また繰り返しの質問でどう変わるか
- どんな出典が表示され、サービスの間でどう違うか
- APIは、利用者向けの画面の代わりに使えるか
どうやって調べたのか
論文は、実在の利用者が書いた質問をそのまま使いました。
| 項目 | 内容 |
|---|---|
| 質問の集め方 | 公開されている2つの会話データから、AIで候補3,432件を絞り、人手で2,839件を判定。2,528件が購買の助言を求める質問で、これを「ConsumerQ」と名づけた |
| 実際に使った質問 | 物理的な製品を一般的に聞く質問から、人手で確認した117問。短い質問で、長さの中央値は8語 |
| 調べた5つの条件 | ChatGPTの画面とAPI、Geminiの画面とAPI、Google検索のAI Overviews |
| 回数 | 117問を3回ずつ、5条件で聞き、1,755回の観察。このうち1,536回で回答が得られた |
| 画面の取り方 | ログアウト状態、毎回新しいブラウザ設定、オランダの住宅用の回線、英語の設定、アムステルダムの時間帯 |
| APIとの対応 | 画面で答えを取ってすぐ（中央値0.17秒後）に、同じ質問をAPIに送り、702組を作った |
| AI Overviewsの収集 | 2026年9月4日と5日に351回検索。内容を取り出せたのは134回（38.2%） |
繰り返しの間隔は、ChatGPTの画面で中央値2.5時間でした。1回目から3回目までの間に、時間がたつ設計です。
結果を読む前に、2つの用語を押さえます。
1つ目は「画面」と「API」です。画面は一般の利用者が使うWeb版、APIは開発者向けの呼び出し口を指します。
2つ目は「ジャッカード重なり」です。2つの集合について、共通する要素を、合わせた全体の要素数で割った値で、1なら完全に同じ、0なら共通なしです。
結果
薦め方は、サービスで大きく違った（1つ目の問い）
画面の3条件を比べました。商品かブランドを薦めた回答は、836件のうち700件で、以下はこの700件が母数です。
| 項目（最終行以外は、回答に含まれる割合） | ChatGPTの回答 | Geminiの回答 | AI Overviewsの回答 |
|---|---|---|---|
| 一人称の推薦（「私のおすすめは」） | 79% | 7% | 2% |
| 何かを「最良」と明示 | 73% | 43% | 48% |
| 質問や追加情報の依頼を含む | 82% | 94% | 97% |
| 用途やカテゴリ別に分けて提示 | 71% | 65% | 44% |
| 同じ質問3回の薦めた商品のジャッカード重なり（平均） | 0.178 | 0.287 | 0.421 |
「質問や追加情報の依頼」は、論文の符号表で広く定義されています。「予算を教えてもらえれば絞れます」のような一文も含みます。
読み取れることは次のとおりです。
- ChatGPTは、他の2つより断定的な薦め方でした。GeminiとAI Overviewsは、一人称の推薦も「最良」の明示も少なめです（一人称は7%と2%）
- 同じ質問を3回聞いたとき、「最良」と書くかどうかが回ごとに割れた質問は、27〜40%でした
- 商品が出るかどうか自体は、割れた質問が11〜13%にとどまります。一方で、何を薦めるかは回ごとに大きく変わりました
- ChatGPTの繰り返しの重なり（0.178）は、GeminiとAI Overviewsの間の重なり、ChatGPTとAI Overviewsの間の重なりのどちらとも、統計的な差がありませんでした
商品名の表記ゆれ（たとえば、同じ型番に社名を付けた書き方と付けない書き方）は、別の商品として数えています。論文は、重なりの数字は実際より低めに出る下限だと説明しています。
出典サイトは、ほとんど重ならなかった（2つ目の問い）
表示された出典を、サービスごとに比べました。ドメインは、サイトのアドレスの主要部分を指します。
| 項目 | ChatGPT画面 | Gemini画面 | AI Overviews |
|---|---|---|---|
| 出典が1つ以上出た割合 | 78.6%（276/351） | 79.0%（274/347） | 120/134件 |
| 出典ドメイン数の中央値 | 3 | 3 | 5 |
| 同じ質問の繰り返しでのドメインの重なり（平均） | 26.0% | 29.8% | 45.9% |
| 1問あたりの異なるドメイン数（3回分の累計） | 5.56 | 4.37 | 7.52 |
| 上位10ドメインの占有率 | 18.8% | 18.3% | 24.4% |
| 編集・製品レビュー系の占有率 | 56.7% | 45.2% | 25.4% |
サービスの間の比較が、いちばん大きな差でした。
- 同じ質問で、ChatGPTとGeminiの画面が共有したドメインは平均5.4%で、76.7%の組で共通のドメインがゼロでした
- ChatGPTとAI Overviewsは平均5.2%、GeminiとAI Overviewsは9.8%です
- ページ単位の一致は、3つの組み合わせで平均2.4〜6.5%でした
繰り返すと、新しい出典が増え続けました。ChatGPTの1問あたりの異なるドメイン数は、1回では2.65、3回では5.56です。
よく出る出典の種類も違いました。ChatGPTでは技術系のレビュー媒体が上位に並びました。
Geminiではレビュー媒体に加えて、掲示板型の投稿サイトと動画共有サイトが上位に入りました。
AI Overviewsでは、掲示板型の投稿サイトが35.0%、動画共有サイトが30.0%の回答に出ました。出典の種類は、AI Overviewsのほうが1回の回答の中で多様でした（3種類以上を含む回答は61.7%）。
APIは、画面の代わりにならなかった（3つ目の問い）
画面とAPIに、同じ質問を続けて送った結果です。
| 項目 | ChatGPTの場合 | Geminiの場合 |
|---|---|---|
| 画面とAPIのドメインの重なり（平均） | 12.0% | 14.8% |
| 画面とAPIのページの重なり（平均） | 4.8% | 11.9% |
| 共通のドメインがゼロの組 | 60.9% | 43.4% |
| 出典が出る割合のAPI-画面の差 | +9.7ポイント | +8.1ポイント |
| 繰り返しのドメインの重なり（画面→API） | 26.0%→37.9% | 29.8%→43.0% |
| 異なるドメイン数（画面／API） | 470／411 | 376／661 |
| 出典の種類が1つだけの回答（画面→API） | 39.5%→52.3% | 32.5%→4.2% |
- 画面とAPIのページを合わせた全体のうち、片方にしか出ないドメインのページが、ChatGPTで79.8%、Geminiで82.5%を占めました。差の大半は、別のドメインが入ったことで生じています
- ChatGPTのAPIは、製造元のサイトが画面より出やすく、画面では技術系のレビュー媒体が出やすい傾向でした
- GeminiのAPIは、動画共有サイトが44.4ポイント、掲示板型の投稿サイトが29.1ポイント、画面より出やすくなりました
- 繰り返しの安定性は、APIが画面より高い場合も低い場合もありました。ページ単位の重なりは、ChatGPTで下がり、Geminiで上がりました
ChatGPTのAPIは、検索で返ったページと、最終回答に付いた引用の両方を返します。1回の観察あたり、検索で返ったのは平均13.48ドメイン・37.38ページ、引用に残ったのは2.62ドメイン・3.22ページです。
引用に残ったのは、検索で返ったページの9.5%でした。論文は、この数字から、返ったページが回答に使われたかどうかは分からないと注意しています。
論文自身が書いている限界
- 対象は、人手で確認した物理製品の117問に限られます。具体的すぎる質問や、地域を含む質問は除いています
- 3回の繰り返しでは、各条件が出しうる回答の幅を捉えきれません
- 質問の元の会話データは、利用者全体の代表ではなく、技術に関心のある人に偏ります。質問の大半は英語です
- 収集はオランダからで、結果をオランダの消費者の行動の代表と読むべきではないと述べています
- ClaudeなどほかのAIは対象外です。AI Overviewsは、351回の検索のうち134回でしか内容を取り出せず、結果はその範囲に限られます
- 調べたのは一時点です。モデルや検索の仕組みは変わり続けます
- 画面とAPIでは、モデルの設定などが異なる可能性があり、差の原因をアクセス方法だけに帰せないと書いています
- この調査の結果が、商業的な立場の人による出典への働きかけに使われる可能性にも触れています。それでも、独立した監査や消費者保護に必要として報告しています
原文を読んで気づいた点
- 日本語での検証は、原文にありませんでした。質問は主に英語で、収集はオランダからです。日本の利用者の画面と同じ結果になるかは、分かりません
- 回答の分類は、主にAIによる自動採点です。人手との一致度（クリッペンドルフのアルファ）は、一人称の推薦が0.776、「最良」の明示が0.698、商品の言及が0.632でした
- この確認に使われた回答は、30問の90件です。商品を薦めた56件が母数になった項目もあり、サンプルは小さい規模です
- 出典の種類（編集系、小売など）の分類は、人手との照合は未実施です。論文自身が「探索的」と書いており、種類別の数字は目安に近い扱いです
- ChatGPTの画面は、答えたモデルの名前が非表示です。APIのモデルは、画面が自称した名前に合わせて選んだもので、同じとは確認できません（Geminiの画面は既定のモデル名を示しました）
- AI Overviewsだけ、ブラウザの設定の持たせ方が他と違い、言語や時間帯の設定も未指定です。ChatGPTやGeminiと条件が完全にはそろっていない状態です
- 「商品の重なり」は表記ゆれで低く出ます。ChatGPTの0.178が低く見える一因かもしれませんが、AI OverviewsとGeminiも同じ扱いです
- データとコードの公開先は、本文に見当たりませんでした。査読を経たかどうかは、確認できませんでした
- 1,536という数字は、5つの条件を合わせた回答数です。79%などの一人称の割合は、画面の3条件で商品を薦めた700件が母数なので、読むときは区別が必要です
この論文から、言えること・言えないこと
| 言えること（論文の範囲） | 言えないこと |
|---|---|
| 英語の商品質問で、ChatGPTは一人称の推薦が多く、GeminiとAI Overviewsは少なかった | 日本語の質問でも、同じ割合になる |
| 同じ質問を繰り返すと、薦める商品と出典が変わった | 1回の回答は、そのサービスの答えとして意味がない |
| 画面に出る出典は、サービスの間でほとんど重ならなかった | ある種類のサイトを載せれば、すべてのAIに出る |
| APIの結果は、同じ質問の画面とは別物だった | APIを使った調査は、すべて信頼できない |
| 引用に残るページは、検索で返ったページの一部だった | 引用された順に、回答への影響が大きい |
中小企業の視点で、どう受け取るか
ここからは論文の主張とは別の、私の読み取りです。
- 自社の見え方は、1回で判断しない。3回の繰り返しでも、出典が増え続けました。確認は、日をあけて、数回ずつ行うのが無理のない形です
- サービスごとに、見る場所を分ける。出典の重なりは平均5.4%でした。ChatGPT、Gemini、AI Overviewsを同じ物差しで一括りにせず、別々に見たほうが、自社が載る場所の違いが分かります（英語・オランダ発・商品の質問での観察です）
- 測定の手段が、画面かAPIかを確かめる。外部のツールや調査の数字を見るとき、利用者が見る画面を測っているのか、APIを測っているのかで、結果が違う可能性があります。これはこの論文の結果からの推測で、個別のツールの精度を示すものではありません
- 商品説明は、どんな人に向くかを書いておく。AIは、断定して薦める場合も、候補を並べる場合もありました。どちらの形でも使われやすいように、用途や条件を明記する方針は考えられますが、これは論文が検証した内容ではなく、私の仮説です
出典の偏りや、AIの回答ごとの違いは、サーベイ論文の解説でも扱っています。
よくある質問
ChatGPTが「私のおすすめは」と言う割合79%は、すべての質問に当てはまりますか
質問の範囲は限られます。この数字は、英語の物理製品の質問117問のうち、ChatGPTの画面が商品かブランドを薦めた回答が母数です。
調べたのは英語の物理製品の質問だけで、日本語やサービス・ソフトの質問は対象外です。
この論文は、APIを使った調査はもう信頼できないと言っているのですか
論文の主張は、もう少し限定的です。論文は、APIがモデルや設定を固定できて、研究に向く面があると認めています。
主張は、APIの結果は「API条件の結果」であって、利用者が見る画面の代わりとして扱えない、という点です。論文は、利用者が目にする商品推薦を調べるなら、APIではなく画面を使うべきだと述べています。
出典ドメインの共通が5.4%だったことは、自社サイトが引用されにくい証拠になりますか
この数字だけでは判断できません。この数字は、2つのサービスが同じ質問で表示した出典の重なりで、特定のサイトの載りやすさとは別の話です。
どの出典が回答に貢献したかは、論文の調査の対象外です。分かるのは、表示された出典がサービスごとに大きく違った、という点までです。
まとめ：今日できる1つのこと
自社の商品について、お客様が聞きそうな質問を1つ決めます。それをChatGPT、Gemini、Google検索のAI Overviewsに、3回ずつ聞いてください。
表示された出典を、サービスごとに書き出し、サイトの種類を分けます。自社が載っている場所と、載っていない場所の違いが、見えてきます。
この論文は、LLMO論文の一覧の一本です。ほかの論文の解説も、順次公開しています。
この記事に書いたことを、そのまま御社のページに
生成AIに引用されるページを、お話しいただくだけでお作りします。お時間をいただくのは初回15分のヒアリングだけです。まず1ページ、無料でお作りします。
OKが出るまで、何度でも直します。事実が違う、言い回しが硬い、この話は入れないでほしい。どれも遠慮なくおっしゃってください。何度お直ししても、追加の料金はいただきません。
これまでに127社にご利用いただきました。毎月ご依頼いただいている方の6割以上が、月10ページを選ばれています。料金はページに掲載しています。
ページを増やしても問い合わせが来ないなら、原因はページの外にあります。その場合は、下の入口からご相談ください。
自社のマーケティング課題を根本から解決しませんか？
ウェブサイトから要素を引き算し、訪れた人が迷わず次の一歩に進む形へ組み直す。初回60分のオンラインで御社のサイトを一緒に読み、どこから直すべきかをお伝えします。手順をまとめた無料の診断と解説動画もご用意しています。
初回は無料・60分・オンライン完結・その場で契約のお願いはいたしません
