【LLMO論文解説】AIの回答に広告を差し込むと満足度はどう変わるか｜広告つき回答の評価基準を作った研究（KDD 2026）

AIの回答の中に、広告が自然な文章として混ざる仕組みが、AIサービスの収益源として試され始めています。この「広告つき回答」の作り方と評価を、まとめて測れる形にしたのが、論文「GEM-Bench: A Benchmark for Ad-Injected Response Generation within Generative Engine Marketing」です。

2025年9月にarXivへ公開されました。

最初に区別しておくと、ここでの「生成エンジン・マーケティング」は、AIサービスの運営側が回答に広告を差し込む研究です。企業が自社ページを引用されやすくする「GEO（生成エンジン最適化）」とは別の話です。

この記事では、満足度やクリックがどう測られ、何が分かったかを原文から整理します。

合同会社謙虚は、3つのドメインを並行して運用し、何を変えると数字が動くかを測り続けています。AIの回答の中で「広告」と「情報」の境目がどう扱われ始めているかは、自社の情報の出し方を考える土台になるため、この論文を読みました。

結論：3行で言うと

• 回答を先に作ってから広告を差し込む方式は、指示文（プロンプト）に広告を混ぜる単純な方式より、正確さ・信頼・押しつけの少なさで高く採点されました
• 関与の2項目（広告に気づく・クリックする）は、差が小さいか、単純なプロンプト方式のほうが高い場面が多く、とくに検索の場面で目立ちます。差し込み方式が高かったのは、主に満足度（正確さ・自然さ・押しつけの少なさ・信頼）の項目です
• 満足度とクリックの数字は、実際の利用者の行動ではなく、AIによる採点と数式の指標が中心です。人が採点する調査は、一部の質問・2方式の比較に限られます

論文自身は、データの規模と人による評価が小さいことを限界に挙げています。加えて私の読み取りでは、チャットの質問は英語で、実サービスの広告を実測した研究ではありません。

この論文の基本情報

項目	内容
題名	GEM-Bench: A Benchmark for Ad-Injected Response Generation within Generative Engine Marketing
著者	Hu、Zhang、Shi、Xiao（4人。所属はシンガポール国立大学。うち1人は企業にも所属）
公開日	2025年9月17日（初版）。確認した版は2026年5月29日のv3（arXiv番号 2509.14221）
掲載・採択状況	arXivのコメント欄は「Technical Report」（技術報告）。KDD 2026（2026年8月9〜13日、韓国・済州島）の会議録に掲載されています（DOIの登録情報で確認。arXivのコメント欄は書き換わっていません）
種類	ベンチマーク（評価用の問題・指標・基準となる方式の一式）を作った論文。分野はcs.IR（情報検索）
データ・コード	arXivの要旨欄に専用サイト（gem-bench.org）、本文に開発者向けの共有サービス上の公開先が書かれています

論文はこちらで読めます。arXiv（2509.14221）、論文に書かれたDOI。

この論文が答えた問い

AIの回答に広告を自然に差し込むとき、その出来を、利用者の満足と広告の効果の両面から、どう測ればよいのか。そして、いまある作り方を同じ物差しで比べると、何が分かるのか。

「広告つき回答」とは何か

論文は、AIの回答の文章に広告の説明文を溶け込ませたものを「広告つき回答」と呼びます。検索の広告のように決まった枠がなく、文章のどこに、どの広告を、どう入れるかを、AIが決める必要があります。

論文は背景として、検索結果にAIの要約が出ると、リンクのクリック率が15%から8%に下がるという調査を引いています。論文自身の実験とは別の調査です。

よく混同される2つの話

項目	この論文の話（生成エンジン・マーケティング）	GEO（生成エンジン最適化）
主役	AIサービスを運営する側（プラットフォーム）	自社のページを持つ企業
やること	広告主から預かった広告を、回答に差し込む	自社のページの書き方を変え、回答に引用されやすくする
お金	広告主が広告料を払う	広告料は発生しない
測るもの	回答の満足度と、広告のクリック	回答の中での目立ち方や引用

GEOの側は、GEO原論文の解説とサーベイ論文の解説で扱っています。この記事の論文は、広告を載せる側の研究です。

どうやって調べたのか

3つの質問集と、広告のデータベース

データ（論文での名前）	場面	質問数	広告のもと
人文系の質問（MT-Human）	チャット	10問。AIの評価用に公開されている質問集の、人文系の1問目だけ	先行研究が作った6,556件の広告（576の小分類）
実際のチャット履歴から選んだ質問（LM-Market）	チャット	1,701問から、広告を入れやすい旅行・料理・ソフト比較の100問を評価に使用（1,000問での追試あり）	同上
検索の商品広告（CA-Prod）	検索の概要欄	120問	検索エンジンの広告データ由来の2,215商品。人手で関連の有無を付けた既存データ

チャット用の広告6,556件は、先行研究がAI（GPT-3.5-Turbo）に作らせたもので、先行研究の著者らが人手で確かめたと論文にあります。

つまり、実在の広告主の出稿データとは別物です。また、チャットの質問は英語です。

比べた2つの方式

比べたのは2つの方式です。1つ目は先行研究の「プロンプト方式」（Ad-Chat）で、選んだ広告の説明とリンクをAIへの指示文に入れ、回答を一度で作らせます。

2つ目は論文が提案する「差し込み方式」（Ad-LLM）です。広告なしの回答を先に作り、広告を探し、文の流れが最も乱れない位置に差し込み、最後に書き直して自然につなぎます。

差し込み方式には3つの派生があります。書き直しを省いた「GI-R」、書き直しありで広告を回答の内容から探す「GIR-R」、書き直しありで質問から探す「GIR-P」です。

主な実験で回答を作るAIは、どの方式も同じ軽量版のモデル（doubao-1.5-lite-32k）です。採点には主にgpt-4.1-miniを使い、温度（回答のばらつきを決める設定）は0に固定しています。

満足度とクリックの測り方

測り方は3種類で、どれも実際の利用者のクリックを集めたものとは別です。この点が、この論文を読むうえでいちばん大事です。

測り方	何をするか	満足度・クリックとの関係
数式の指標	文の意味の近さ（埋め込みの類似度）から、回答の流れや一貫性、広告が浮いていないかを数える	満足度の代わりの指標。クリック率（CTR）も表に載るが、計算方法は本文・付録では説明されておらず、検索の商品広告でしか出ていない
AIによる採点	別のAIが回答を読み、正確さ・自然さ・押しつけの少なさ（原文は、利用者の役に立つか、売り込みに偏っていないか）・信頼・広告に気づくか・クリックしそうかを、6項目それぞれ2つの観点でよい・普通・悪いと評価する。結果を0・30・60・90点にまとめる	満足度の4項目と、広告への関与の2項目（気づく・クリックする）はここで測る。「クリック」は、AIが利用者の行動を想像して付ける点数
人による採点	118人が、2方式の回答を横に並べて読み、4段階で採点する	AIの採点との一致を確かめる補助。比べたのはプロンプト方式とGIR-Rだけ

つまり、満足度は「AIによる採点」と「数式の指標」で測られています。クリックは「AIによる想像」と「計算方法が説明されていない見積もり」です。

論文が「利用者の満足度」と書くとき、その多くはAIの採点です。

結果

満足度：差し込み方式が高かった

AIの採点（gpt-4.1-mini）で、プロンプト方式と、論文が最良とするGIR-Rを比べます。数字は論文の表3です。

項目	チャット：プロンプト方式	チャット：GIR-R	検索：プロンプト方式	検索：GIR-R
正確さ	61.97	80.32	42.60	59.56
自然さ	52.54	62.49	36.38	34.45
押しつけの少なさ	57.38	71.88	25.03	46.97
信頼	55.47	70.47	22.66	36.92
広告に気づく	77.46	80.14	88.12	84.97
クリックする	78.01	77.10	88.25	87.16
総合	63.81	73.73	50.51	58.34

「チャット」は実際のチャット履歴から選んだ100問、「検索」は商品広告の120問です。太字は高いほうです。

• 差し込み方式は、満足度の4項目のうち、チャットでは4項目すべて、検索では3項目で上回りました。検索の「自然さ」だけは、プロンプト方式がわずかに高くなっています
• 差が大きかったのは、押しつけの少なさ・信頼・正確さです。論文は、プロンプト方式の指示文が「広告を魅力的に伝え、利用者に合わせる」作りのため、AIが販売員のように振る舞い、正確さと信頼が落ちると説明しています
• 広告に気づく・クリックするの2項目は、ほぼ互角です。差は1〜3点で、方向も場面によって入れ替わります

論文が本文で示す総合の改善率は、14.8%、15.6%、15.64%（人文系の質問、チャット、検索の順）です。最大では、正確さが39.8%、押しつけの少なさが89.3%、信頼が62.9%の相対改善でした。

この3つの最大値がどの場面の値かは、本文に書かれていません。

クリック率の指標：値があるのは検索だけ

論文の表2の数式の指標のうち、クリック率（CTR）に値があるのは検索の商品広告だけです。プロンプト方式が42.02、GI-RとGIR-Rが35.23、GIR-Pが39.45です。

プロンプト方式は、差し込み方式の最高値より約6.5%高くなります（42.02÷39.45の概算）。

論文は、この差を、AIが商品を選ぶほうが、文の意味の近さで選ぶより関連する商品を見つけやすいためと見ています。

論文はクリック率の定義を「広告の表示のうち、クリックされた割合」と書くだけで、どのデータから計算したかは書かれていません。

採点するAIを変えても、同じ傾向だった

論文は、採点するAIを4種類（gpt-4.1-mini、qwen-max、claude-3.5-haiku、kimi-k2）に変えて確かめています（表4）。チャットの質問での総合点は、プロンプト方式が42.47〜63.81、GIR-Rが55.00〜73.73で、4種類すべてでGIR-Rが上でした。

回答を作るAIを5種類に変えた確認（表12）でも、GIR-Rが上でした。差は、チャットで平均約10%、検索で平均約16%と論文は説明しています。

人が採点しても、同じ向きだった

• 参加者は118人で、有効な回答票は157枚、採点は3,140件でした（回収時は184枚・3,680件で、評価が他の人と逆向きの票などを除いています）
• 質問は20問（人文系2問、チャット13問、検索5問）で、1枚の回答票で採点するのは6項目のうち1項目だけです（項目を変えて複数の票を出した人もいます）
• 人どうしの採点の一致度は0.84、人とAIの採点の相関は0.73です（順位相関）
• 人もAIも、正確さ・自然さ・押しつけの少なさ・信頼・広告に気づくの5項目で、GIR-Rを高く採点しました。本文は「クリックする」には触れていません

広告を増やすと、満足度は下がった

論文は、1回答に入れる広告の数を1〜5に増やして、GIR-Rを調べました（チャットの質問）。満足度の項目は、広告が増えるほど一貫して下がっています。

「クリックする」の点は、初めは上がり、広告が多くなると少し下がりました。回答の関連と魅力が薄れ、押す気が下がるためと論文は説明しています。

手間と費用：重いほうは場面で入れ替わる

論文は、利用者が最初の文字を見るまでにAIが余分に処理する量（トークン数。AIが処理する文章の単位の数）も比べています（表6）。

チャットの100問で、余分な出力はプロンプト方式が456.56、GIR-Rが849.73です。

検索では、それぞれ217.68と424.40です。書き直しのあるGIR-Rは約2倍になります。

合算の費用は、チャットではプロンプト方式が905.29、GIR-Rが1,402.88で、GIR-Rのほうが重くなります。一方、検索ではプロンプト方式が1,673.43、GIR-Rが908.76で、GIR-Rのほうが軽くなります。

論文自身が書いている限界

• データの規模が比較的小さく、人による評価も小規模であることを、結論で認めています。実験は予備的なものと位置づけ、データを増やした版を今後公開する予定です
• 倫理の節では、広告つきの回答が利用者の判断を誘導する恐れ、広告の偏りによる差別や誤情報の恐れを挙げています
• あくまでプラットフォーム側の視点の研究で、広告であることの表示（検索の「広告」表示に似たもの）の設計や、利用者の受け止め方の研究は、今後の課題としています

原文を読んで気づいた点

• クリックは、AIによる想像の採点と、計算方法が書かれていない見積もり値です。実サービスで広告を出して測ったものは、含まれていません
• チャットの質問と広告は英語のデータです。日本語の検証は、論文に出てきません。チャット用の広告は、AIが生成し、先行研究の著者が人手で確かめたもので、実際の広告主の出稿データではありません
• 回答を作るAIは、軽量版のモデルです。主な実験はdoubao-1.5-lite-32kで、他の4種類でも確かめていますが、現在の主要なチャットサービスと同じ挙動とは限りません
• クリックの優劣は、条件で入れ替わります。チャットの100問では、プロンプト方式の「クリックする」がわずかに高い（78.01と77.10）のに、1,000問に増やすとGIR-Rが高くなりました（73.50と75.84。付録の表7）。採点するAIを変えても、検索の「クリックする」は、2種類でプロンプト方式、2種類でGIR-Rが高くなっています（付録の表8〜10）
• 論文の要旨と本文では、関与の書き方が違います。要旨は、単純なプロンプトでも関与は「そこそこ」得られると書き、本文の冒頭は、差し込み方式が関与も改善すると書いています
• 掲載先の表示が、資料によって違います。arXivのコメント欄は「Technical Report」のままですが、DOIの登録情報ではKDD 2026の会議録（2026年8月8日公開）に載っています。査読の経過そのものは、今回の資料からは確かめていません

この論文から、言えること・言えないこと

言えること（論文の設定で確認された）	言えないこと（論文では確認されていない）
広告を指示文に混ぜる単純な方式は、AIの採点で、正確さ・信頼・押しつけの少なさが低くなった	実際の利用者が広告つき回答を読んで、満足度が下がること
回答を先に作り、広告を差し込んで書き直す方式は、AIの採点でも人の採点でも高かった	日本語や実在の広告主のデータで、同じ結果になること
広告を増やすと、満足度の採点は一貫して下がった	何件までなら利用者が許容するかという境目
検索の商品広告では、プロンプト方式のクリック率の見積もりが約6.5%高かった	実際のクリックが増えること、広告主の成果が上がること
差し込み方式は、書き直しの有無で自然さと費用が変わった	どの方式を、実サービスが採用しているか

中小企業の視点で、どう受け取るか

ここからは、論文の主張とは別の、私の読み取りです。

1. 回答の中の「枠」が、有料と無料に分かれる可能性があります

論文は、広告を回答に混ぜる仕組みが、すでに一部のサービスで試されていると書いています。回答に載る手段は、「引用される」ことに加えて、「広告として載る」ことも現れてくる可能性があります。

日本での広がりは、この論文の範囲の外です。

2. 広告と情報の境目は、利用者の信頼を左右する点です

表3で差が最も大きかった項目は、チャットでは正確さ、検索では押しつけの少なさでした。信頼の点は、どちらの場面でもプロンプト方式のほうが低くなっています。

自社の情報を、売り込みの口調ではなく事実を中心に書く方針は、この結果とも矛盾しません。ただし、この結果はAIの採点での話で、実際の利用者への当てはまりは、未確認です。

3. 「引用される」努力と、広告の話は混ぜないほうが安全です

広告を入れる研究と、自社ページの書き方を変える研究は、目的も費用も別です。この論文の「クリック率が高い」は、広告を差し込む側の見積もりで、自社ページを書き換えた効果とは別の数字です。

よくある質問

GEM-Benchの「生成エンジン・マーケティング」は、GEO（生成エンジン最適化）と同じ話ですか

別の話です。生成エンジン・マーケティングは、AIサービスの運営側が広告を回答に差し込む仕組みで、広告料が発生します。

GEOは、企業が自社のページをAIに引用されやすく書き直す取り組みです。

GEM-Benchが測った「クリック率」は、実際の利用者のクリックですか

違います。論文のクリックは、AIが利用者の行動を想像して付けた点数と、検索の商品広告で表に載る見積もり値で、実サービスに広告を出して集めたクリックとは別物です。

人の採点も、質問と回答を読んで評価するもので、実際にリンクを押した記録とは別です。

広告つき回答の差し込み方式（Ad-LLM）は、プロンプト方式（Ad-Chat）より常に良いのですか

条件によります。満足度の採点では上回りましたが、検索の商品広告ではクリック率の見積もりが低く、「自然さ」「クリックする」のように逆転する項目もあります。

書き直しのぶん、余分な出力も増えます。

まとめ：今日できる1つのこと

AIの回答に出る自社の紹介文を1つ選び、広告のように読めないか、事実だけで書けているかを見直してください。価格・対象・できること・できないことを、売り込みの形容詞を使わずに書き直すだけで十分です。

この論文は、広告が混ざった回答を同じ物差しで比べるための、出発点に位置づく研究です。

この論文は、LLMO論文の一覧の一本です。ほかの論文の解説も、順次公開しています。

ページを増やしても問い合わせが来ないなら、原因はページの外にあります。その場合は、下の入口からご相談ください。