【LLMO論文解説】AIの回答に入る広告のクリック意図を予測する評価器と料金設計｜模擬の利用者で作った教師の検証（プレプリント）

ChatGPTのようなAIの回答の中に、広告が文章として溶け込む形が、現実のものになりつつあります。2026年7月に公開された論文「Evaluating and Pricing Advertisements in AI-Generated Responses」は、その広告が「どれくらいクリックされそうか」を、クリックの記録なしで測る方法と、その上に立つ料金の決め方を扱っています。

この記事では、数値は論文が報告している値をそのまま拾い、「86%一致」が何と何の一致なのかも原文どおりに書きます。

合同会社謙虚は、3つのドメインを並行して運用し、何を変えると数字が動くかを測り続けています。この論文は、AIの回答に広告が入る時代に、「測れないものをどう測るか」を考える材料になります。

結論：3行で言うと

• クリックの記録がない場面で、広告のクリック意図を点数で予測する評価器を作った研究です。学習のお手本にしたのは、AIの利用者役（エージェント）に作らせた疑似のラベルです
• 人の選好との一致は、5人の評価者が見た100組で、評価者ごとの平均が86%でした。多数決との一致は92%です。実際の利用者のクリックとの一致ではありません
• 料金の部分は、数学的な導出と1つの計算例です。実際の広告配信で試された結果ではありません

この論文の基本情報

論文はこちらで読めます。arXiv（2607.27686）、DOI（10.48550/arXiv.2607.27686）。

この論文が答えた問い

クリックの記録も、信頼できる人手の採点もない場面で、AIの回答に埋め込まれた広告のクリック意図を、どう測り、どう値付けに使うのか。

論文は、測れない理由を3つ挙げています。1つ目は、AIの回答に埋め込まれた広告には、公開されたクリックの履歴がまだ無いことです。

2つ目は、人の採点がそろわないことです。同じ研究グループの先行研究（NaiAD）では、クリック意図の採点者間の一致度が低く、一致度の指標（ケンドールのW）で約0.291でした。

3つ目は、最先端のAIに点数をつけさせても、文章のなめらかさを測っているだけで、クリック意図そのものが測れないことです。

測れないままでは、値付けの土台も欠けたままです。論文は、料金の理論が前提とする「連続した、なめらかな指標」が、まだ無いと述べています。

どうやって調べたのか

論文の方法は、3つの段階に分かれます。まず疑似のラベルを作り、次にそれを学習する評価器を作り、最後に評価器の出力を料金の計算に使います。

ステップ1：利用者役のAIに、疑似のラベルを作らせる

最初に、AIが広告の客観的な特徴を6項目（関連性、文章の質、目新しさ、信頼性、緊急性、温かみ）で1〜5点で採点します。ぶれを抑えるため、同じ広告を3回採点して平均します。

次に、性格の違いを加えます。人の性格を表す5つの特性（ビッグファイブ）に基づく30人の架空の利用者を作り、特性ごとに響きやすい特徴を割り当てます。

たとえば、開放性は目新しさ、外向性は緊急性に結びつけます。

ここで大事なのは、広告が質問と関係ない場合は、文章がうまくても高い点にならない設計にしたことです。論文はこれを「関連性の関門」と呼んでいます。

性格による変動は、あくまで一定の範囲に収まる補正です。

ステップ2：評価器を学習させる

評価器は、既存のAIモデル（Qwen3-4B）を土台に固定し、小さな追加部品（LoRA）だけを学習させる軽い構成です。1つの共通部分から、4つの採点項目に枝分かれします。

4項目のうち、質問との関連性、表現のまとまり、広告の効果の3つは、先行研究が人手の採点から作ったラベルで学習します。クリック意図だけが、ステップ1の疑似ラベルで学習します。

調べた条件の一覧

結果

評価用データでの当てはまり

表の相関は、評価器の予測と、評価用の5,837件のラベルとの関係です。クリック意図の行は、疑似ラベルとの相関であることに注意してください。

クリック意図の部分だけを単独で学習したモデルの相関は0.84で、4項目をまとめて学習した0.82と、ほぼ同じでした。

向きの検査：学習なしのAIとの比較

ほかの3つの検査（キーワードの詰め込み、5分位の較正、入力の一方を空にする）も、期待どおりの向きでした。詰め込みでは点が下がり、5分位では実際のラベルの平均が0.79から2.39へ順に上がりました。

人の選好との一致

• 評価器が15通りの候補から最高点の広告を選ぶ仕組み（ベスト・オブ・N）の検証です。5人の評価者が、評価器の点数を伏せて、100組について「どちらがクリックされそうか」を選びました。評価者どうしの一致度は、フライスのカッパという指標で0.64です
• 評価者ごとの一致の平均は86%、5人の多数決との一致は92%でした
• 評価器の点数差が1.5を超える組に絞ると、多数決との一致は96%に上がりました。点数差が大きいほど一致が高くなる傾向が示されています

論文の要旨にある「86%」は、評価者ごとの一致の平均です。多数決との一致（92%）や、点数差が大きい組での一致（96%）とは別の数字なので、混同しないようにしてください。

料金の計算例

料金の部分では、「入札額に応じて、候補の回答を何通り作って、いちばん良いものを選ぶか」という仕組みを使います。入札がkなら、k通りの回答を作り、評価器の点が最高のものを返します。

この仕組みでは、入札を増やすと成果の期待値は同じか上がります。論文は、この性質があれば、正直に入札するのが期待値の意味で最適になる支払いルールが、1通りに決まると導いています。

入札ゼロのときの利得を0とする、という条件つきです。

計算例では、1つの広告主と1つの質問について、30通りの候補回答を作り、評価器で採点しました。

成果の指標は、1〜5点の点数を0〜1に直した値で、実際のクリック率ではありません。論文自身が、この例は「仕組みの形を示すもので、実際の収益を予測するものではない」と述べています。

候補どうしの差が小さいため、入札を増やしても成果の伸びはゆるやかです。論文は、これを仕組みが正しく値段に反映している、と説明しています。

回答の作り方によっては、入札を増やしても点が上がらない場合があります。論文はその場合のために、成果の曲線を単調に直す方法（アイロニング）と、少しだけ正直さの保証を緩める方法の2通りを示しています。

この部分の証明は補足資料にあり、私は未確認です。

論文自身が書いている限界

論文は「議論と限界」の節で、次の点を認めています。

• 疑似ラベルは、大規模な人手の検証が済んでいません。5人×100組の検証は「初期の証拠」で、より大きな検証が必要だと書いています
• 点数は、実際のクリック率ではありません。1〜5の順序を表す尺度で、クリック率への換算は、実際の配信で比較試験をしたデータが必要だとしています
• ラベルは、関連性が強く効く設計です。関係のない広告は、どれほど文章がうまくてもクリックされない、という前提を置いています
• 性格の対応づけは、根拠の強さにばらつきがあります。開放性、外向性、協調性の組み合わせは根拠が比較的あります。一方、性格に合わせた広告の効果が大きいかについては、研究でも慎重な見方がある、と書いています
• 購買の段階や、読者の詳しい情報は反映していません。質問が購入前のどの段階かは、今の信号には入っていません

原文を読んで気づいた点

ここからは、論文の記述ではなく、原文を読んで私が気づいた点です。

• 日本語での検証は、見当たりません。日本や日本語への言及は、原文に見つかりませんでした。評価者の言語や属性も、本文には書かれていません
• 「86%」は、実際の利用者の行動との一致ではありません。比べた相手は、5人の評価者が「どちらがクリックされそうか」を選んだ結果です。見たのは100組です
• 高い相関は、疑似ラベルとの一致です。クリック意図の相関0.82は、模擬の利用者が作ったラベルを再現できたという意味で、実際のクリックを当てたという意味ではありません
• 関連性の検査は、設計と循環している面があります。疑似ラベルが関連性を強く重視する設計なので、評価器が関連性に反応するのは、その設計を学んだ結果とも読めます。これは私の解釈です
• 検査の件数は小さいです。別商品への差し替えは14組、段階的な劣化は6件の広告です。学習なしのAIとの差も数組の違いで、論文自身も、2つのAIは順位づけできないと書いています
• 同じ研究グループの先行研究に依存しています。データ、人手由来のラベル、計算例の回答生成器は、いずれも著者が重なる先行研究のものです。評価用データも同じ分布から取られているため、別の環境での性能は分かりません
• 料金の部分は、実際の配信での検証が未実施です。計算例は、1つの広告主と1つの質問に対する30通りの候補です。また、入札を「候補の数」に置き換える設計は、現実の広告取引とは条件が異なります
• 評価は、自動採点が中心です。人手の検証は、5人×100組だけです。100組の作り方の詳細や、点数差が1.5を超えた組の件数は、本文にありません
• 査読の有無は不明です。arXivの第1版のみで、採択の記載は見つかりませんでした。書式は学会論文のようですが、採択先は確認できませんでした

この論文から、言えること・言えないこと

中小企業の視点で、どう受け取るか

ここからは論文の主張とは別の、私の読み取りです。

• 「広告が回答に入る」未来の準備として読めます。論文が前提にするのは、広告が回答の文章そのものに入る形です。自社が広告を出す側になるかは別として、AIの回答での見え方に関わる動きとして、頭に置いておく価値があります
• この論文のラベルは、質問との関連を最優先する設計です。実測で比べた結果ではなく設計上の前提ですが、質問と関係のない広告は、文章がうまくてもクリック意図が低いと扱われています。自社の情報を出すときも、質問との関連を最優先に考える手がかりの1つになります
• 86%や92%を、広告の成果の目安にしないでください。これは評価器と5人の評価者の一致で、実際のクリック率ではありません。日本の利用者での検証もありません
• 料金の仕組みは、まだ理論の段階です。実際にAIサービスがどんな広告の料金を採用するかは、この論文の範囲の外です。広告の出稿を決める材料には、現時点では使えません

よくある質問

Evaluating and Pricing Advertisements in AI-Generated Responsesの「86%一致」は、実際の利用者のクリックと合っているという意味ですか

違います。5人の評価者が、100組の広告を見て「どちらがクリックされそうか」を選び、その選択が評価器の選択と、評価者ごとの平均で86%一致した、という数字です。

多数決との一致は92%です。

評価者の選択は、実際のクリックではなく、見た人の予想です。実際の利用者のクリックログでの検証は、論文自身も「これからの課題」としています。

この論文の評価器は、実際の広告のクリック率を予測できますか

予測できると示した結果は、論文の中で見つかりませんでした。評価器が出すのは1〜5の順序の点数で、論文自身が「実際のクリック率を表す確率ではない」と述べています。

点数を実際のクリック率に直すには、実際の配信で比較試験をしたデータが必要だと書かれています。クリック意図の学習に使ったラベルも、模擬の利用者が作ったものです。

この論文の「正直な入札が最適になる支払いルール」は、実際の広告配信で使われている仕組みですか

使われているという記載は、見つかりませんでした。理論の導出と、1つの広告主・1つの質問での30通りの計算例だけです。

入札を「作る回答の候補数」に置き換える設計で、数学的に成り立つことを示した内容です。実際の広告配信での検証は、論文の範囲外です。

まとめ：今日できる1つのこと

自社の主力サービスについて、お客様が実際に入れそうな質問を3つ書き出してください。それぞれの質問に対して、自社のページが「質問に直接答えているか」を、1つずつ確認します。

論文のラベルは、質問との関連を最優先する設計でした（実測で最も効いたという意味ではありません）。まずは、質問と答えのずれがないかを見直すところから始められます。

この論文は、LLMO論文の一覧の一本です。ほかの論文の解説も、順次公開しています。

ページを増やしても問い合わせが来ないなら、原因はページの外にあります。その場合は、下の入口からご相談ください。