これまでのLLMO対策は、「AIの回答に自社が載るか」を主に考えてきました。ところがAIが人の代わりに予約や購入まで済ませる使い方が広がると、話が変わります。
条件に合う候補が何件もあるとき、AIはどれを選ぶのでしょうか。
この記事は、2026年10月のEMNLP(自然言語処理の主要な国際会議)産業トラックで発表された「PriceBench」を、原文から読んで整理します。
ニューヨークのホテル179施設を使い、3,600件の選択課題を28のAIに解かせた研究です。価格・品質・ブランドをどう重みづけるかを測っています。
数値は論文の表と本文から拾い、私が計算した値には「概算」と書きました。
合同会社謙虚は、3つのドメインを並行して運用し、何を変えると数字が動くかを測り続けています。この論文を読むのは、AIが「買い手」の側に回ったとき、何を変えると選ばれ方が動くのかを、実測の根拠つきで知っておくためです。
結論:3行で言うと
- AIの賢さ(能力)と相関していたのは、選び方の一貫性でした。価格と品質のどちらに傾くかは、能力とも提供元とも関係が見られませんでした
- 28のAIのうち5つは、条件をほぼ見ずに、最初に載っている選択肢を選び続けました。一覧の並び順を握る側が、そのAIの予約の88〜100%を左右できる状態です
- 同じ課題でも、AIによって平均予約額が1泊247ドルから393ドルまで動きました。AIが何を買うかは、AIごとに測るしかないというのが論文の結論です
ただし対象は、米国ニューヨークのホテルと、英語のプロンプトです。日本の宿泊業や小売に、そのまま当てはまるとは論文は言っていません。
この論文の基本情報
| 項目 | 内容 |
|---|---|
| 原題 | PriceBench: A Diagnostic Benchmark for Price, Quality, and Brand Preferences in LLM Booking Agents |
| 著者 | Pavel Kireyev(1人。ロンドンの大学の経営学系の学部に所属) |
| 掲載先 | EMNLP 2026 Industry Track(産業トラック)の会議録、941〜959ページ。会議は2026年10月24〜29日、ブダペスト(会議の開催地はCrossrefの登録情報による) |
| DOI | 10.18653/2026.emnlp-industry.57(Crossrefで、会議録の論文として登録されていることを確認済み) |
| 種類 | 査読ありの学会論文(産業トラック)。謝辞に、匿名の査読者3人とエリアチェアへの謝意が書かれています。著者は大学の研究者で、企業の自社報告ではありません |
| 実験データとコード | 課題3,600件、推定コード、28のAIの回答すべてを公開すると論文に書かれています(公開先はGitHub上のpricebench-emnlp。コードはMITライセンス、データは研究用) |
論文はこちらで読めます。ACL Anthology、DOI。
この論文が答えた問い
AIが予約代行をするとき、条件に合う複数の宿から、価格・品質・ブランドをどう重みづけて1つを選ぶのか。その傾向は、AIの種類によってどれくらい違うのか。
従来のエージェント向けの評価は、予約が完了したかどうかを見ていました。論文は、完了した後の「どれを選んだか」こそ、AIが持つ購買の癖(論文は「購買方針」と呼びます)が表れる場面だと考えて、そこを測る道具を作りました。
予算の上限、最低の星の数、希望の地区といった条件を満たす宿は、たいてい複数あります。その中のどれになるかを決めているのは、利用者ではなく、AIの暗黙の好みだという問題意識です。
どうやって調べたのか
| 項目 | 設定 |
|---|---|
| 宿のデータ | ニューヨークの実在の179施設。旅行予約サイト4つの掲載情報から作って固定。星1〜5、36地区、1泊45〜1,650ドル |
| 宿ごとの項目(10個) | 固定が4つ(星の数、地区、チェーン所属、設備)。出るたびに変わるのが6つ(価格、部屋タイプ、無料キャンセル、朝食、口コミ点、口コミ件数) |
| 課題 | 2択が1,800件(450組を各4回)、3択が1,800件(300組を各6回)。すべて、選択肢の順番を入れ替えて2回ずつ出す |
| 測ったAI | 8つの提供元の28モデル。パラメータ数が10億に満たない公開モデルから、最先端の商用モデルまで |
| 聞き方 | 「ニューヨークで1泊の部屋を予約します。次の2つから選んでください」という文章。回答はAかBの1文字。温度0(毎回同じ答えになりやすい設定) |
| 分析 | ロジット選択モデル。「選ばれた側が、選ばれなかった側より、各項目でどれだけ違うか」から、各項目への重みを推定する統計の手法 |
ここで押さえておきたい点が2つあります。
1つ目は、価格が実際の価格ではないことです。各宿の掲載価格の範囲の中から、出るたびに一様な乱数で選ばれています。
口コミ点も、元の値の±0.2の範囲で動かしています。
2つ目は、順番を入れ替えて2回出す仕組みです。常に最初を選ぶ癖は「定数」として別に吸収され、価格や品質への重みを汚さないように設計されています。
推定する3つの指標
- 価格への反応:価格が上がると選ばれにくくなる度合い。形が直線か、対数(高い価格帯ほど鈍くなる形)かも調べています
- 品質との兼ね合い:口コミ点1点に、いくらまで払うか(論文は「支払ってもよい額」と呼びます。1泊250ドルの宿を基準に換算)
- ブランドの好み:大手チェーン5系統が、他の条件が同じ独立系の宿より選ばれやすいか
結果
まず、5つのAIは中身をほぼ見ていなかった
最初に載っている選択肢を選んだ割合(第1表示率)を調べると、5つのAIが88.2〜100.0%に張りついていました。論文は、15〜85%の範囲を外れたものを「位置固定」と判定しています。
該当したのは、いずれも公開モデルの小型版(Llama 3.2 1B、Mistral 7B、Qwen3 0.6B、Llama 3と3.1の8B)です。2つの8Bが固定される一方で、それより小さいLlama 3.2 3BとGemma3 4Bは固定されておらず、論文は「単純な大きさの線引きではない」と述べています。
この5つは、順番を入れ替えても、入れ替えた後の最初を選んでいます。
論文は、列挙順を握るサイトが、これらのAIの予約の88〜100%を決められると書いています。
残る23のAIは、このふるい分けを通りました。以下の結果は、この23が対象です。
価格への反応は、10倍以上の開きがあった
- 価格に反応しないと判定されたのは2つ(Gemma3 1B、Phi-2 2.7B)。残る21は、価格が高いほど選ばれにくくなりました
- 反応の強さ(対数価格の係数の絶対値)は、GPT-5.4の7.02から、Qwen3 30B-A3Bの0.40まで広がりました(17倍強、私の概算)
- 反応の形は、統計的な当てはまりの指標(AIC)で、直線が10、対数が10、同点が1でした
- 「最も安い帯より、2番目に安い帯のほうが選ばれる」という山が、複数のAIで見られました。論文は、安すぎる価格を品質の低さの合図と読んでいる可能性を挙げています
価格と品質のどちらに傾くかは、AIごとに違った
口コミ点1点に払ってもよい額は、価格と品質の両方が有意に推定できた20のAIで、68ドルから1,071ドルまで、約16倍の幅がありました(論文のブートストラップによる95%区間は11.7〜23.7倍)。
| モデル | 価格への反応(対数価格の係数) | 口コミ1点に払う額 |
|---|---|---|
| Gemma2 9B | -5.71 | 68ドル |
| GPT-5.4 | -7.02 | 107ドル |
| Claude Haiku 4.5 | -4.75 | 139ドル |
| GPT-5.4 Mini | -4.56 | 222ドル |
| GPT-5.4 Nano | -2.47 | 500ドル |
| Phi-4 Mini | -0.76 | 1,071ドル |
出典は論文の付録の表5です。係数はマイナスが大きいほど、価格に敏感です。
注目したいのは、同じ系列のGPT-5.4の3つです。小さい順にNano、Mini、無印と並べると、払う額は500ドル、222ドル、107ドルでした。
最小のモデルは、口コミ1点を最大のモデルの約4.7倍(500÷107、私の概算)に評価しています。
この違いは、同じ課題での平均の予約額にも出ました。2択の課題(順番の入れ替えを含めて3,600回答)で、GPT-5.4は平均247ドル、Phi-4 Miniは393ドルです。
146ドル(概算)の開きが生まれています。
ブランドの好みは、提供元では説明できなかった
価格と品質を同じにしても、大手チェーン5系統のすべてを独立系より好んだAIは、23のうち11ありました。地区の条件を加えて補正すると、7に減ります。
一番大きかった上乗せ(GPT-5.4の大手チェーンの1系統)は、地区を補正すると係数が+2.17から+1.23に下がりましたが、有意なままでした。論文は、この上乗せが好みなのか、学習データでのブランドの結びつきなのかは、振る舞いだけでは判別できないと書いています。
同じ提供元の2つのモデルが、別の提供元の2つより似た好みを持つかも調べています。
係数の相関は、同じ提供元の間で+0.079、別の提供元の間で+0.090でした。並べ替え検定(提供元の名札を2,000回入れ替える方法)のp値は0.48で、提供元による違いは見つかりませんでした。
人間の値と比べると、AIは高い
論文は、先行研究から人間の値を集めて比べています。口コミ1点あたりの価値は、価格への反映を見た研究で約2〜22ドル、実際の予約からの推定で0〜約30ドル(予約サイトごと)です。
人間の値に対して、AIの68〜1,071ドル(中央値269ドル)は、最も安いものでも人間の範囲の上を行きます。
ただし、人間側は定義が違う研究から著者が換算した値で、同じ課題を人間に解かせたわけではありません。論文はこの比較を「もっともらしさの目安」と位置づけています。
聞き方を変えると、順位は保たれたが金額は動いた
論文は、6つのAIを選んで聞き方を変え、順位が保たれるかを調べました。表は、基準の結果との順位の相関(1に近いほど順位が同じ)です。
| 変えた条件 | 価格への反応/払う額の順位の相関 | 金額の動き |
|---|---|---|
| 項目をJSONの形式に | +1.00/+1.00 | 価格の係数がほぼ0(+0.03)になったAIが1つ(Phi-4 Mini) |
| 価格の行を先頭に並べ替え | +0.94/+0.94 | – |
| 値打ち重視の依頼人という設定を1文足す | +0.89/+0.89 | 6つ全部で品質への傾きが上昇(Gemma2 9Bは70ドルから215ドル) |
| 理由を書かせてから答えさせる | +0.60/+0.70(5つのAI) | 5つ全部で品質への傾きが低下(Phi-4 Miniは1,020ドルから147ドル) |
この表の金額は、聞き方を変えた課題の部分集合で基準を推定し直した付録の表2の値です。そのため、上の表の基準値(Gemma2 9Bの68ドル、Phi-4 Miniの1,071ドル)と数ドルから数十ドルずれます。
順位は保たれた一方で、金額は聞き方に動かされています。論文は、ドル換算した金額そのものは「聞き方に依存する」と明記しています。
そのほかの確認では、温度0.7で出力にばらつきを入れても、5つの位置固定のうち4つは89.2〜99.3%の割合で最初を選び続けました。5択でも、2択で推定した重みから、実際の選択を42〜52%で当てられました(偶然なら20%)。
AIの能力と関係したのは、選び方の一貫性だった
外部で公開されている能力の総合指数との相関は、選び方の一貫性で+0.63、価格への反応の強さで+0.71でした(どちらも位置固定ではない18のAIが対象)。一方、品質1点に払う額とは、どの部分集合でも有意な相関がありませんでした。
論文は、結果を「能力は、どう決めるかの確かさと関係し、何を選ぶかとは関係が見えない」とまとめています。ただし観察的な相関であり、能力が原因だとは言っていません。
論文自身が書いている限界
論文は、限界の節で次の点を挙げています。
- 題材はニューヨークのホテルの1種類だけで、方法が妥当と確かめられたのもホテルの中だけです。食料品、航空券、企業向けソフトウェアなどでは、価格への反応が変わりうると述べています
- 主な推定は、中立的な予約の文章と温度0に条件づけられています。聞き方を変える確認は、28のうち6つのAIにとどまり、金額は聞き方に左右されます
- 道具を使い、何度もやり取りする本物のエージェントは試していません
- 人間の比較値は、定義の違う研究から集めたものです。同じ課題を人間に解かせてはいません
- 能力の結果は、28のAIを横に並べた観察的な相関です。学習データや調整の方法が、能力と選び方の両方を決めている可能性が残ります
- ブランドは、大手チェーンの系統でまとめた粗い分類です。高級な系列と普及価格帯の系列が、同じ区分に入っています
原文を読んで気づいた点
- 日本語での検証は、論文の中にありません。聞き方は英語の文章で、宿の設備や地区の名前も英語です
- 実験に使ったのは、各モデルをそのまま呼び出した結果です。空のシステムプロンプトで、予約サイトに組み込まれた実際の予約アシスタントの設定とは別物です。商用サービスの挙動は測っていません
- 評価は自動集計です。回答はAかBの1文字で、人が採点してはいません。位置固定の5つも、読み取りの失敗でないことが付録で確かめられています
- 価格は乱数で作っています。実際の市場では価格と品質が連動しますが、この実験では、同じ宿でも、価格はその宿の掲載価格の範囲で、口コミ点は元の値の±0.2で、出るたびに別々に動かしています
- 位置固定のAIは、すべて小型の公開モデルです。商用の最先端モデルでは見つかっていないため、「並び順を握れば決められる」という指摘が当てはまる相手は、実際のサービスでは限られる可能性があります
- モデル名の版は、論文執筆時点のものです。モデルは更新されます。論文自身は、新しいAIは同じ課題を1回採点すれば測れると述べています。結果の寿命が短いことを前提にした設計だと私は読みます
- 掲載状況:基本情報の表のとおり、会議録に載った査読つきの論文です。論文には、原稿と分析コードの作成にAIの支援を受け、著者が検証したという記載もあります
この論文から、言えること・言えないこと
| 言えること(論文の設定で確認された) | 言えないこと(論文では確認されていない) |
|---|---|
| 28のAIのうち5つは、条件ではなく表示の位置に従って選んだ | 実際に使われている予約アシスタントや検索サービスが、同じ位置の癖を持つこと |
| 価格と品質の重みづけは、AIごとに大きく違い、同じ系列の中でも違った | 日本のホテルや日本語の質問で、同じ開きが出ること |
| ブランドの好みは、価格と品質を同じにしても残り、提供元では説明できなかった | 特定のチェーンや、自社のブランド名が選ばれやすくなる方法 |
| 順位の傾向は、聞き方を変えても保たれた(6つのAIでの確認) | ドル換算の金額そのものが、実際の予約で通用する値であること |
| AIの口コミ1点への評価額は、先行研究の人間の値より高かった | 人間が同じ課題を解くと、どうなるか |
中小企業の視点で、どう受け取るか
ここからは論文の主張とは別の、私の読み取りです。
- 宿泊・小売への直接の当てはめは、まだできません。この論文が測ったのは、条件を満たした候補が並んだときに、AIが何を重く見るかです。日本の予約サイトや店頭の商品に、同じ重みづけが出るかは未確認です
- 価格のほかに、品質に関する項目も選ばれ方に効いていました。論文の付録では、価格に最も敏感なAIでは口コミ点と星の数が強く、中位のいくつかのAIでは無料キャンセルや朝食の有無が同じくらい効いています。自社の条件(キャンセル、付帯サービス、口コミ)を、機械が読める形で正確に示しておくことは、確かめる価値があると私は考えます
- 価格の下げ方が、そのまま効くとは限りません。論文では、AIによって価格の反応が直線型と対数型に分かれ、同じ値引きでも効く価格帯が違いました。値下げの前に、どのAIに向けたものかを考える必要がありそうです
- 自社の商品で、手元のAIに選ばせて試す価値があります。論文の結論は「AIごとに測る」でした。自社の商品2つを並べて、いくつかのAIに選ばせ、理由を聞くだけでも、傾向の違いは確かめられます。ただし、それはこの論文の実験の再現ではなく、私の提案です
よくある質問
PriceBenchの結果は、ホテル以外の商品にも当てはまりますか
論文自身が、ホテルの外での妥当性は確かめていないと述べています。航空券、食料品、企業向けソフトウェアでは、価格への反応が変わりうるとも書いています。
PriceBenchの「位置固定」のAIは、一覧の順番を変えるだけで予約を動かせるのですか
実験の設定では、5つの小型モデルがほぼ位置どおりに選びました。ただし、対象は公開されている小型のモデルで、商用の予約サービスの挙動は測っていません。
自社の掲載順を変えれば予約が動く、と読むのは行き過ぎです。
PriceBenchは、どのAIに任せれば安く予約できるかの目安になりますか
目安としては使えません。
聞き方を少し変えるだけで、金額の換算値は大きく動きました(上の表)。論文が測ったのは、AIが何を重んじる傾向があるかであり、利用者にとって最適な予約かどうかは評価していません。
まとめ:今日できる1つのこと
自社の主力商品や部屋タイプを2つ選び、価格・評価・条件の項目を同じ形の表にして、手元のAIに「どちらを選びますか。理由も教えてください」と聞いてみてください。
モデルを変えて数回試し、選ばれた理由がバラバラなら、AIごとに見ているところが違う、という論文の指摘が自社の商品でも起きているサインです。
この論文は、LLMO論文の一覧の一本です。ほかの論文の解説も、順次公開しています。
この記事に書いたことを、そのまま御社のページに
生成AIに引用されるページを、お話しいただくだけでお作りします。お時間をいただくのは初回15分のヒアリングだけです。まず1ページ、無料でお作りします。
OKが出るまで、何度でも直します。事実が違う、言い回しが硬い、この話は入れないでほしい。どれも遠慮なくおっしゃってください。何度お直ししても、追加の料金はいただきません。
これまでに127社にご利用いただきました。毎月ご依頼いただいている方の6割以上が、月10ページを選ばれています。料金はページに掲載しています。
ページを増やしても問い合わせが来ないなら、原因はページの外にあります。その場合は、下の入口からご相談ください。
自社のマーケティング課題を根本から解決しませんか?
ウェブサイトから要素を引き算し、訪れた人が迷わず次の一歩に進む形へ組み直す。初回60分のオンラインで御社のサイトを一緒に読み、どこから直すべきかをお伝えします。手順をまとめた無料の診断と解説動画もご用意しています。
初回は無料・60分・オンライン完結・その場で契約のお願いはいたしません


