AIに「おすすめを教えて」と聞くと、薦められるブランドは毎回少しずつ違います。自社が薦められているかどうかを、どう測ればよいのでしょうか。
この問いに、マーケティング研究の側から答えたのが、2026年9月に公開された論文です。題名は「Evaluating Brand Retrieval and Ranking in Large Language Model Recommendations」といいます。
この記事は、その論文を原文から読み、測り方の枠組みと、6つのAIモデル・5つの商品カテゴリでの結果を整理します。数値は、論文の本文と表から拾いました。
合同会社謙虚は、3つのドメインを並行して運用し、何を変えると数字が動くかを測り続けています。この論文を読む理由は、「AIの推薦に出るか」を、1回の回答ではなく確率として数える具体的な手順が書かれているからです。
結論：3行で言うと
- AIの推薦は毎回変わるので、同じ質問を繰り返し、ブランドが出た割合（BRP）と、出たときの順位（MRR）で測るのが、この論文の提案です
- カテゴリだけを聞く質問では、大手として知られるブランドでも、繰り返しの質問で一度も薦められない例がありました。順位は、Googleでの検索の多さと結びついていました
- 用途や予算を書いた質問にすると、薦められなかったブランドが出てくる場合があります。ただし、この結果は2つのブランドだけの例示で、体系的な比較ではありません
この論文の基本情報
| 項目 | 内容 |
|---|---|
| 原題 | Evaluating Brand Retrieval and Ranking in Large Language Model Recommendations |
| 著者 | Edward Malthouse、Kun-Yu Lee、Jing Yang、Sanchary Pal、Xueyan Feng（5人。ノースウェスタン大学とボストン大学の所属） |
| 公開 | 2026年9月14日（v1）。arXiv:2609.16304、分野はcs.IR（情報検索） |
| 掲載・採択 | arXivのコメント欄と掲載誌の欄に、学会や雑誌への採択の記載はありません。プレプリントとして読みます |
| 種類 | 測定の枠組みの提案と、6モデル・5カテゴリでの実証。12ページ |
| データ・コード | 著者らは、ソフトウェアとデータを公開したと述べています。公開先は、氏名を伏せた状態のリポジトリです |
論文はこちらで読めます。arXiv（2609.16304）、PDF。
論文が示す、データの置き場（匿名化されたリポジトリ）もあります。DOIは、arXivのページでは登録待ちと表示されています。
著者の所属は大学だけで、企業の自社報告ではありません。ただし、競合の一覧を作るための市場データは、外部の調査会社から取っています。
この論文が答えた問い
AIが商品を薦めるとき、どのブランドが、どれだけの頻度で、何番目に出るのか。それを、毎回変わる回答の中でどう測ればよいのか。
店の棚、検索結果、通販サイトのおすすめには、見る場所と指標があります。棚の占有率、検索順位、クリック率などです。
AIの推薦には、見る場所がありません。AIは候補の一覧を持たず、その場でブランド名を文章として作り出し、同じ質問でも答えが変わります。
論文は、この状態を「生成された集合」と呼び、AIを「その場で選択肢を作る設計者」と位置づけています。
どうやって調べたのか
論文は、まず測り方の枠組みを5つの手順で示しています。
- 定義：どのブランドが競合かを、AIの回答とは別に先に決める
- 測定：カテゴリだけを聞く質問を繰り返し、出現の割合と順位を求める
- 探索：外部の市場データと、順位との関係を調べる
- 照合：用途や予算を書いた質問で、そのブランドが狙った場面で出るかを見る
- 診断：出ないブランドに、自社の売り文句に近い言葉を与えて、AIが知っているかを確かめる
競合を先に決める理由は、AIの回答から競合を拾うと、AIがほとんど薦めないブランドが最初から集計に入らないからです。分母が偏り、「出ていない」こと自体が見えなくなります。
指標は2つです。どちらも、同じ質問を繰り返した回答の集まりから求めます。
| 指標 | 意味 | 計算 |
|---|---|---|
| BRP@k（ブランド推薦確率） | どれくらいの割合で出るか | 上位k件のうちにそのブランドが入った回答の割合 |
| MRR@k（平均逆順位） | 出たときに、どれくらい上位か | 1位なら1、2位なら1/2、3位なら1/3、出なければ0として、全回答の平均をとる |
実験の条件は、次のとおりです。
| 項目 | 内容 |
|---|---|
| AIモデル | 6つ。GPT-5.5、GPT-5.4 Mini、Gemini 3.1 Pro Preview、Gemini 2.5 Flash、Claude Opus 4.7、Claude Sonnet 4.6 |
| 呼び出し方 | 各社のAPI。会話履歴や利用者情報はなし。ウェブ検索などの外部検索は無効にして、1回ごとに独立した回答にした |
| カテゴリ | 5つ。コードレスドリル、クルーズ旅行、猫のフード、コーヒーメーカー、ハイキング用ジャケット |
| カテゴリだけの質問 | 「［カテゴリ］を探しています」と書き、ブランド名を最大5つ、JSON形式で返させる。各カテゴリ・各モデルで40回、計1,200件の回答 |
| 用途を書いた質問 | 予算、経験、使い方などを変えた100問（カテゴリごとに20問）。各モデルに2回ずつ、計1,200件 |
| 採点 | 回答からブランド名を取り出し、表記ゆれを別名辞書でそろえる。人手による確認の記載はありません |
競合の一覧は、ブランド価値の調査データと、市場シェアの統計から作られました。論文は、最初の試行でAIが薦めたが、その調査には載っていなかったブランドも加えたと書いています。
順位との関係を調べるために、5つの指標も集めています。広告費、報道の件数、オンラインでの話題量、Googleでの検索の関心、百科事典サイトの閲覧数です。
結果
定番ブランドが、まったく薦められない
カテゴリだけを聞く質問では、大手として知られる多くのブランドが、一度も薦められませんでした。論文は、アウトドア衣料、工具、コーヒーメーカー、キャットフード、クルーズの各分野で、そうしたブランドを挙げています。
論文はここから、ブランド担当者は「どれだけ目立つか」だけでなく、「そもそも出ているか」を見るべきだと述べています。
人気と順位は、一致するとは限らない
論文は、ブランドの目立ちやすさの指標（調査会社が算出したもの）と、AIの推薦順位の関係を見ました。
- いちばん関係が見えたのはクルーズです。目立ちやすさの上位2社が、順位も上位でした
- それでもクルーズの中で、目立ちやすさの高い別の会社が、MRR 0.015とほとんど薦められませんでした
- それ以外のカテゴリでは、目立ちやすさと順位の間に、はっきりした関係は見えませんでした
- コードレスドリルとハイキング用ジャケットでは、高価格帯のブランドが推薦されやすい傾向があり、量販向けのブランドは低い順位でした。ただし、この傾向が当てはまったのは5カテゴリのうち2つです
論文は、推薦システムの研究で知られる「人気のあるものがさらに推薦されやすい」という偏りは、AIの推薦では限定的にしか見えなかったとまとめています。
BRPとMRRは、見えるものが違う
2つの指標は、おおむね同じ傾向を示しますが、論文は、MRRのほうが差を見分けやすい場面を示しています。
- コードレスドリルでは、5ブランドのBRP@5が1（毎回出る）でした。MRRを見ると、1つのブランドが一貫して最上位で、次の2ブランドが続き、残り2つは低い順位でした
- クルーズと猫のフードでも、毎回出る5ブランドの間に、MRRで見ると順位の差がありました
毎回出るブランドが並んでも、1位に近いのか、5位に近いのかは、BRPだけでは分かりません。論文は、BRPを「出るか」、MRRを「どれだけ前に出るか」の指標として使い分けています。
順位と結びついていた指標
論文は、5つの市場指標と、MRRの平方根との相関を示しています（対象は82ブランド）。
| 市場の指標 | MRRとの相関（図4） |
|---|---|
| Googleでの検索の関心 | 0.63 |
| オンラインでの話題量 | 0.54 |
| 百科事典サイトの閲覧数 | 0.37 |
| 広告費 | 0.25 |
| 報道の件数 | 0.21 |
5つはどれも、順位と有意な正の相関がありました。ただし、5つの指標どうしにも相関があり（0.21〜0.70）、話題量と百科事典サイトの閲覧数の間は0.70です。
論文は、これらを「市場での見えやすさ」という共通の軸の表れとみています。
そこで、論文は、リッジ回帰という、相関の強い変数を安定して扱う手法で調べました。結果は次のとおりです。
- 検索の関心の係数が、最も大きくなりました。次が、オンラインの話題量です
- 報道の件数、百科事典サイトの閲覧数、広告費の係数は、本文によるとゼロに近くなりました（図5の読み取りは、下の「気づいた点」に書きました）
- 縮小をかけない分析では、検索の関心の係数が1.0586（p値は0.0001未満）、報道の件数が0.5844（p=0.032）でした
- 変数を絞る別の分析（ラッソ）では、検索の関心とオンラインの話題量だけが残りました
論文は、これらを因果ではなく、探索的な観察の関連だと明示しています。検索の多さが推薦を増やした、とは言えません。
共通の原因として、消費者の関心が両方を動かしている可能性もあります。
用途を書くと、出てくる場合がある
カテゴリだけの質問で、一度も薦められなかった2つのブランドについて、論文は用途や予算を書いた質問での出方を調べました。1ブランドにつき、20問を6モデルに2回ずつ尋ね、240件の回答です。
| ブランド（種類） | カテゴリだけ | 用途を書いた質問 | 自社の売り文句に近い言葉の質問（診断用） |
|---|---|---|---|
| 日曜大工向けの工具の定番 | BRP@5が0%、MRRが0 | BRP@5が35.4%、MRRが0.108 | BRP@5が81.3% |
| 家族向けアウトドア用品の定番 | BRP@5が0%、MRRが0 | BRP@5が5.4%、MRRが0.025 | BRP@5が88.5% |
用途を書くと、前者は約3分の1の回答に出ましたが、順位は高くありませんでした。後者は、ほとんど出ないままでした。
診断用の質問は、各ブランド自身の宣伝資料にある言葉を使った、実際の利用者は書かない不自然な文です。論文は、これを質問と区別して「プローブ（探り針）」と呼んでいます。
この質問では、どちらも8割以上の確率で出ました。
論文は、薦められないのは、AIがそのブランドを知らないからだとは限らないと解釈しています。ただし、AIが持っている情報が正確で完全かどうかは、確かめていないと書いています。
論文自身が書いている限界
- 用途を書いた質問と診断用の質問の結果は、この2つのブランドのために手書きした少数の質問から得たものです。ランダムに選んだ多くのブランドでの検証が必要だと述べています
- 価格帯による偏りは、5カテゴリのうち2つにしか当てはまりませんでした。何がその違いを作るのかは、分かっていません
- 市場指標との関係は、観察データによる探索です。因果の証拠にはならず、広告や検索指標を直接いじる根拠にもならないと、論文は述べています
- 実験は、新しい会話から始めています。過去の会話履歴を持つ実際の利用者では、結果が変わる可能性があります
- 診断は、AIが持つブランドの特徴が、狙った位置づけと合っているかまでは確かめていません
原文を読んで気づいた点
- 日本語での検証は、原文にありませんでした。質問は英語で、検索の関心の指標は米国向けのもの（Google Trendsの米国・ウェブ）です。市場シェアなどの統計の対象国は、本文からは分かりません
- 実験は各社のAPIで、検索機能を切って行っています。検索を使って答える実際のサービスで、同じ傾向が出るかは、論文では分かりません
- 温度などの生成の設定は、本文に記載が見当たりませんでした。モデルごとの結果の違いも、本文では示されていません（ブランドやカテゴリごとの個別の結果は、公開データで見られると述べています）
- 競合の一覧は「AIの出力から独立」と説明されていますが、実際には、最初の試行でAIが薦めたブランドも加えています
- 市場データの時期は、カテゴリや指標でそろっていません。ブランド価値の調査は2022年から2025年の別々の回、市場シェアの統計は2017年から2025年の別々の時点です
- 用途を書いた100問の全体の結果は、この論文の本文に載っていません。要旨が「用途の文脈で、取得されるブランドが変わる」と書く根拠は、2ブランドの例示です。限界の節は、この100問を「別に報告した体系的な研究」と呼んでいます
- 論文の考察は、検索の関心と話題量に加えて、報道の件数も順位と結びつく指標として挙げています。一方で、同じ論文のリッジ回帰では、本文は報道の件数の係数をゼロに近いと書いています。なお図5の縦線は、本文の-2.39ではなく横軸の-4付近にあります。その位置では、報道の曲線が話題量の曲線と近い0.4台に見えます（図からの目読みです）
- ブランド名の取り出しと表記の統一について、人手の確認の記載はありません。査読を経たかどうかは、確認できませんでした
- 診断用の質問が何本だったかは、原文に書かれていません
この論文から、言えること・言えないこと
| 言えること（論文の範囲） | 言えないこと |
|---|---|
| AIの推薦は、1回の回答ではなく、繰り返して確率で測る必要がある | 日本語の質問や、日本の市場でも同じ傾向が出る |
| 英語の質問と米国の検索指標を使った5カテゴリで、定番ブランドが推薦から外れることが多かった | 検索を使う実際のAIサービスでも、同じ頻度で外れる |
| 推薦の順位は、検索の関心と、オンラインの話題量と結びついていた | 検索の関心を上げれば、推薦も増える |
| 用途を書くと、出なかったブランドが出た例が2つあった | 用途を書けば、どのブランドも出てくる |
| 診断用の質問で出たので、AIが完全に知らないわけではないと考えられる | AIが、そのブランドの強みを正しく覚えている |
中小企業の視点で、どう受け取るか
ここからは論文の主張とは別の、私の読み取りです。
- 自社を測るなら、競合の一覧を先に決める。AIの回答から競合を拾うと、自社が出ない場合に、比べる相手まで見えなくなります。同業の名前を、自分の知識と業界の資料で先に10社ほど書き出しておく方法が、論文の「定義」の手順に近くなります
- 同じ質問を繰り返し、出た回数と順位を数える。数え方の例です（説明のための仮の数字です）。10回のうち、1位が2回、3位が1回、出なかったのが7回なら、BRPは3÷10で30%、MRRは（1＋1＋1/3）÷10で約0.23です。回数が少ないほどばらつきは大きくなります。論文は40回を使いましたが、小規模で始める回数の基準は、論文にありません
- 質問は、カテゴリだけの形と、用途を書いた形の両方で試す。2つの結果が違えば、AIは自社を知っているが、狙った場面で結びつけていない可能性が考えられます。論文の診断の考え方を借りた、私の見立てです
- 検索や話題量を直接いじろうとしない。論文自身が、因果ではないと注意しています。順位と結びついた指標を、まず自社でも記録し、変化の関係を見る材料にとどめるのが無理のない使い方です
名前を知っていることと、薦めることの差は、サーベイ論文の解説でも、別の研究として紹介しています。
よくある質問
ブランド推薦確率（BRP）とは、何を表す数字ですか
同じ質問を繰り返したとき、そのブランドが上位k件に入った回答の割合です。論文では、k=5の「BRP@5」を主に使い、1が「毎回出る」、0が「一度も出ない」を表します。
平均逆順位（MRR）は、BRPと何が違いますか
BRPは「出るか」だけを見ます。MRRは、出たときの順位も加味し、1位なら1、2位なら1/2と点を付けて平均します。
毎回出るブランドの間で、1位に近いかどうかを見分けたいときに使います。
BRPやMRRで、日本語の質問でも測れますか
計算の方法は、言語に依存しません。ただし、この論文で確かめられたのは、英語の質問と、米国の検索指標などを使った結果だけです。
日本語での傾向は、論文では確かめられていません。
まとめ：今日できる1つのこと
自社の商品について、お客様が実際に聞きそうな質問を1つ決めてください。それを、同じ文面で10回、AIに聞き、自社が出た回数と順位を表に書きます。
次に、用途や予算を書き足した質問でも、同じように10回数えます。2つの数字の差が、自社の見え方を考える最初の材料になります。
この論文は、LLMO論文の一覧の一本です。ほかの論文の解説も、順次公開しています。
この記事に書いたことを、そのまま御社のページに
生成AIに引用されるページを、お話しいただくだけでお作りします。お時間をいただくのは初回15分のヒアリングだけです。まず1ページ、無料でお作りします。
OKが出るまで、何度でも直します。事実が違う、言い回しが硬い、この話は入れないでほしい。どれも遠慮なくおっしゃってください。何度お直ししても、追加の料金はいただきません。
これまでに127社にご利用いただきました。毎月ご依頼いただいている方の6割以上が、月10ページを選ばれています。料金はページに掲載しています。
ページを増やしても問い合わせが来ないなら、原因はページの外にあります。その場合は、下の入口からご相談ください。
自社のマーケティング課題を根本から解決しませんか？
ウェブサイトから要素を引き算し、訪れた人が迷わず次の一歩に進む形へ組み直す。初回60分のオンラインで御社のサイトを一緒に読み、どこから直すべきかをお伝えします。手順をまとめた無料の診断と解説動画もご用意しています。
初回は無料・60分・オンライン完結・その場で契約のお願いはいたしません
