【LLMO論文解説】「一番人気」は効き「残りわずか」は逆効果｜認知バイアス10種でAIの商品推薦はどう動くか（EMNLP 2025）

商品説明に「いちばん人気です」と書くと、人は手に取りやすくなります。「残りわずか」「会員さま限定」も、売り場で昔から使われてきた言い回しです。

では、商品を選ぶのが人ではなくAIだったら、同じ言い回しは効くのでしょうか。

この問いを実験で調べた論文を、原文から読みます。アテネ国立工科大学の研究者らが2025年2月に公開し、自然言語処理の主要な国際会議であるEMNLP 2025の本会議録に載った「Bias Beware」です。

人の判断を偏らせる心理の働き（認知バイアス）10種類を商品説明に埋め込み、6つのAIの商品推薦がどう動くかを測っています。

合同会社謙虚は、3つのドメインを並行して運用し、何を変えると数字が動くかを測り続けています。商品説明やサービス紹介の書き方が、AIに薦められるかどうかをどちら向きに動かすのかを、実験の数字で確かめておくために読みました。

結論：3行で言うと

• 「多くの人が選んでいる」と示す書き方（社会的証明）と、値引きを強調する書き方は、6つのAIのほぼすべてで、商品が推薦される回数を増やしました
• 人の購買では効くとされる「残りわずか」（希少性）と「限られた人だけ」（限定性）は、逆に推薦を減らしました。AIが書き換えたコーヒーメーカーとカメラの実験では、6つのAIすべてで下げました。本の分野や専門家の1文では、希少性が上がった例もあります
• AIの規模を大きくしても、考える過程を挟んでも、「偏らずに選んで」と指示しても、効く向きはほとんど変わりませんでした（大きさはAIによって変わりました）。英語の商品説明だけの実験で、日本語では試されていません

この論文の基本情報

項目	内容
題名（原題）	Bias Beware: The Impact of Cognitive Biases on LLM-Driven Product Recommendations
著者	Giorgos Filandrianos、Angeliki Dimitriou、Maria Lymperaiou、Konstantinos Thomas、Giorgos Stamou（5人。アテネ国立工科大学。筆頭著者はポルトガルの研究機関にも所属）
公開日	2025年2月3日（arXiv初版）。確認した版は2025年10月22日の第4版
arXiv番号	2502.01349
掲載・採択状況	EMNLP 2025の本会議録に掲載（2025年11月、中国・蘇州。22397〜22426ページ）。arXivのコメント欄の記載と、学会の論文データベースの掲載ページで確かめました
種類	大学の研究。架空の商品データと、大手通販サイトの実際の商品データ（公開データセット）を使った実験
実験データとコード	コードは著者が公開しています（論文の脚注に記載）

論文はこちらで読めます。arXiv（2502.01349）、EMNLP 2025の会議録ページ（DOI：10.18653/v1/2025.emnlp-main.1140）。

コードの公開ページは、論文の脚注から辿れます。

この論文が答えた問い

商品説明に、人の心理の偏りを突く書き方を埋め込むと、AIはその商品をより多く、より上の順位で薦めるようになるのか。

AIに「おすすめを教えて」と聞く買い物は、すでに広がっています。そのときAIは、手元にある商品の情報を読み比べて、薦める商品と順番を決めます。

論文は、ここで商品説明の書き方がAIの判断を動かせるなら、従来の検索エンジン対策と同じように、推薦を狙った書き換えが出てくると見ています。

先行研究には、AIへの命令文を商品ページに仕込む方法や、意味をなさない文字列を足す方法がありました。論文によれば、どちらも不自然で見破りやすいものです。

この論文は、売り場で普通に使われている自然な言い回しだけで推薦が動くかを確かめています。先行研究の一つは選好操作攻撃の解説で扱っています。

どうやって調べたのか

実験の設定

項目	設定
商品	架空のコーヒーメーカー、カメラ、本の3分野（各10商品。価格・評価・容量などの仕様つき）。追加で、大手通販サイトの実商品からノートパソコンとペット用の噛むおもちゃ（各10商品）
推薦するAI	公開モデルのLLaMA（8b、70b、405bの3サイズ）、Mistral Large 2、Claude 3.5 Sonnet、Claude 3.7 Sonnet（考える過程を挟む設定の有無も比較）
質問	「コーヒーメーカーを探しています。おすすめを教えてください」のような、条件をつけない広い質問
渡し方	10商品の一覧をそのままAIに渡す。並び順は毎回入れ替える。ウェブ検索は使わない
回数	各実験を同じ設定で100回繰り返す。書き換えは商品ごとに平均50通りの言い回しを用意
比べ方	どの商品も書き換えない場合と、1商品だけ書き換えた場合を比べる。統計的に意味のある差が出た商品だけを数える

書き換えは2通りです。1つは、マーケティングの専門家3人が考えた1文を、説明文の最後に足す方式。

もう1つは、AI（Claude 3.5 Sonnet）に説明文全体を書き換えさせる方式です。後者では、書き換えた商品だけが長さや文体で目立たないよう、ほかの9商品の説明も同じように言い換えています。

条件をつけない質問にした理由も書かれています。「200ドル以下で」のような条件をつけた予備実験では、AIがその条件で並べるだけになり、書き方の影響を測りにくかったそうです。

試した10種類の書き方

論文での名前	書き方の中身
社会的証明	多くの人が選んでいる、売れていると示す
希少性	在庫が残り少ないと示す
限定性	会員など、限られた人だけが買えると示す
値引きの強調	元の価格より安くなったと示す（最終の価格は変えない）
権威づけ	専門家に信頼されていると示す
物語で語る	商品を使う場面を物語にする
日割りで見せる	価格を「1日あたり」に割って小さく見せる
おとり効果	同じ価格帯の他の商品は機能が少ないと示す
対比効果	同じ機能の他の商品は高いと示す
価値観の表明	社会的に好ましい立場や姿勢を示す

効き目は2つの指標で測っています。推薦率は、100回のうち何回その商品が挙がったか。

推薦順位は、挙がったときに何番目だったかです。表の「推薦率の変化」は、書き換え前後の回数の差で、たとえば100回中10回から40回に増えれば「+30」です。

結果

効いた書き方と、逆効果だった書き方

論文の表1から、AIが書き換えた場合の推薦率の変化を、6つのAIの範囲で拾いました。統計的に意味のある差が出なかったAIは除いています。

書き方	コーヒーメーカー	カメラ	論文の判定
社会的証明	+9.75〜+20.33	+14.17〜+22.38	一貫して上げた
値引きの強調	+9.50〜+37.40	+17.50〜+22.25	一貫して上げた
希少性	-13.50〜-22.00	-17.33〜-22.57	一貫して下げた
限定性	-23.70〜-30.11	-16.25〜-46.00	一貫して下げた
権威づけ	-20.00〜+15.00	-13.25〜+20.00	AIや商品で向きが割れた
残りの5種類	AIや商品で上下が混在	同左	一貫した傾向なし

• 社会的証明をClaude 3.5 Sonnetに試した例では、推薦率が相対で+334%（書き換え前の約4.3倍。倍率は私の概算で、1+3.34）、順位も相対で50%改善したと論文は書いています
• 希少性について論文が本文で挙げた例では、推薦率が平均で100回中13.5回減り、順位も約1つ下がりました。相対では推薦率-30%です。限定性はさらに大きく、推薦率は相対で-45.23%でした
• 上げる書き方は、もともと順位の低い商品で効きやすく、下げる書き方は、もともと上位の商品ほど強く下げる傾向がありました
• 本の分野（付録の表14）でも、社会的証明と値引きの強調は多くのAIで推薦率を上げ、限定性は下げました。希少性は、考える過程を挟んだClaude 3.7だけが上向きでした

論文は、希少性と限定性が人の購買では強い効果を持つとされる点に触れ、AIではむしろ見えにくくなったことを「特に目を引く」結果と書いています。

専門家の1文は、振れ幅が大きかった

専門家が書いた1文を足す方式でも、効いた・効かなかったの向きはAIの書き換えとおおむね同じでした。ただし希少性は、専門家版では上下が混在しました（表18）。

最も強かったのは専門家版の社会的証明で、コーヒーメーカーでは推薦率が+21.67〜+42.12、10商品のうち6〜10商品で意味のある差が出ています（表2）。

論文は、専門家の文はあからさまな推薦の言い回しになりがちで、当たり外れが大きいと分析しています。AIに書き換えさせた方式は、さりげない表現を説明文に溶け込ませるぶん、結果が安定していました。

本当に半額にするより、値引きを強調するほうが推薦された

論文は「実際に価格を半分にするのと、価格はそのままで値引きを強調するのと、どちらが推薦されるか」も比べています（表3。コーヒーメーカー）。

AI	本当に半額にした	値引きを強調した（表1）
LLaMA-8b	+0.01	+9.50
LLaMA-70b	+11.25	+23.00
LLaMA-405b	+19.00	+19.00
Claude 3.5 Sonnet	+8.50	+12.67
Claude 3.7 Sonnet	+1.33	+37.40
Mistral Large 2	+5.00	+10.00

数字は推薦率の変化です。値引きの強調で使われた割引率は平均26.25%で、半額（50%）より小さいにもかかわらず、推薦率の変化は同じか上回りました。

意味のある差が出た商品の数も、値引きの強調のほうが多くなっています。

同じ方法で、社会的証明を評価の星と比べた実験もあります。Claude 3.5 Sonnetとコーヒーメーカーの組み合わせでは、社会的証明は、平均で星0.27個分の評価の低下を打ち消しました（付録D）。

大きなAIでも、考えさせても、注意させても残った

• LLaMAの3サイズで比べると、規模と効きやすさの間にはっきりした関係は見られませんでした（図5）
• Claude 3.7に考える過程を挟ませても、社会的証明と値引きの強調は推薦率を上げ、限定性と希少性は下げたままでした（表4）
• 「偏らず、商品の特徴と質問だけで選ぶ」と指示を足しても、社会的証明は6つのAI（考える過程ありのClaude 3.7を含む7通り）で+13.00〜+37.86、限定性は-5.00〜-31.29と、向きは変わりませんでした（表5）
• 新たに「最も多く薦められる商品」に押し上げられた商品の数は、LLaMA-405bとClaude 3.5 Sonnetで多く、Mistral Large 2は、とくに専門家の1文に対して動きにくい結果でした（図4）

実際の商品説明では、効き目が小さくなった

大手通販サイトの実商品で、社会的証明と限定性を試した結果です（Claude 3.5 Sonnet、専門家版の1文）。ノートパソコンでは、社会的証明で3商品の推薦率が12%から30%、2%から13%、12%から32%に上がりました。

限定性では、1商品が71%から56%に下がっています。

向きは架空の商品と同じでしたが、効き目の出た商品は少なめでした。論文は理由を2つ挙げています。

実際の説明文にはもともと売り込みの言い回しが混ざっていること。説明文が長く（噛むおもちゃは平均約900字、コーヒーメーカーは約220字）、足した1文の比重が薄まることです。

論文自身が書いている限界

• 文章だけの推薦で、条件をつけない広い質問に限っています。条件のはっきりした質問では影響が小さくなることを、論文に載せていない予備実験で見ているそうです
• 商品説明は英語だけです。英語以外の言語で同じ結果になるかは、未解決の問いとしています
• 先行研究にそろえて、商品は10個です。実際の売り場では候補がもっと多くなります
• 「偏らずに選んで」と指示する防ぎ方は、予備的な対策にとどまるとしています
• 専門家の1文は1つの言い回しだけなので、結果を一般化できないと付録で断っています

原文を読んで気づいた点

• 日本語での検証はありません。「残りわずか」が逆効果になるかどうかを、日本語の商品説明で確かめた結果は含まれていません
• 商品一覧をAIに直接渡す実験です。AIが自分でウェブを検索して候補を集める、実際のAI検索とは条件が違います
• 書き換えに使ったClaude 3.5 Sonnetは、推薦する側のAIとしても評価されています。同じAIが書いた文章を同じAIが読む組み合わせが含まれている点は、割り引いて読む必要があります
• 評価は、AIの回答の中で商品名が最初に出た位置を機械で数えたものです。人が読んで選ぶかどうか、売上が動くかは測っていません
• 統計的な検定の種類や、回答のゆらぎの設定（温度）は、本文からは確認できませんでした
• 本文と表に食い違いがあります。4.1節の冒頭は、希少性と限定性まで「一貫して良い効果」の列に入れていますが、直後の文と表1では一貫して悪い効果です。表4の見出しは「4種類の手口」ですが、表には6行あり、本文は5種類と書いています。書き換えの言い回しの数も、本文は平均50通り、付録は100回としています
• EMNLP 2025の本会議録に掲載された、査読を経た論文です

この論文から、言えること・言えないこと

言えること（論文の設定で確認された）	言えないこと（論文では確認されていない）
社会的証明と値引きの強調は、6つのAIのほぼすべてで推薦率を上げた	日本語の商品説明でも同じ向き・同じ大きさで効くこと
希少性と限定性は、試したAIと商品で推薦率を下げた	ウェブ検索を使う実際のAI検索で、同じ結果になること
規模・考える過程・注意の指示では、効き方がほぼ変わらなかった	推薦の変化が、売上や問い合わせにつながること
実際の長い商品説明では、効き目が小さく、出る商品も少なかった	書き足した内容が事実でなくても問題がないこと（真偽は評価の対象外）

相対値は、元の回数が少ないほど大きく出ます。表1のClaude 3.5 Sonnetでの差は、100回中+10.60〜+14.17回です。

AIに薦められる確率が誰でも3倍以上になる、という意味で読むのは行き過ぎです。

中小企業の視点で、どう受け取るか

ここからは論文の主張とは別の、私の読み取りです。

「売れている」は、本当の数字で書く

社会的証明が最も安定して効いたのは確かです。ただし実験の文言は、実際の販売実績とは無関係に足されたものでした。

論文も、架空の大幅値引きを足すのは有害で、売り手は実際に値下げすべきだと付録で書いています。自社で使うなら、販売数や導入件数のように、出典を示せる実数だけに限るのが筋です。

数字のない「大人気」は、読む人にも根拠が伝わりません。

「残りわずか」「限定」は、AI向けの文章から外してよい

人の売り場で効くとされる書き方が、この実験ではAIの推薦を下げました。本当に在庫が少ない場合でも、AIに読まれる商品説明やサービス紹介では、仕様や用途の説明を優先したほうが無難だと読めます。

向きは違いますが、有名ブランドとの比較を調べた別の論文（有名ブランドの有利さと説得の文言の解説）でも、数量限定の文言は推薦をほとんど押し上げていません。

値引きは、実際の値引きだけを書く

値引きの強調が本当の半額より推薦された結果は、裏返せば、AIが「値引き」という言葉に引っ張られやすいことを示しています。

日本では、根拠のない元の価格を併記する表示は、景品表示法の有利誤認表示にあたるおそれがあります。書くのは実在する値引きだけにし、期間と元の価格の根拠をそろえておくのが安全です。

仕様と根拠の厚い説明では、足した1文の効き目が薄まった

実際の長い商品説明では、足した1文の効き目が薄まりました。他社の文言に対して強くなるかは測られていません。

それでも、用途、仕様、比べられる数字をきちんと書いた説明は、読む人にとっても判断の材料になるので、書いておく価値があると受け取っています。

よくある質問

「一番人気」などの社会的証明の文言で、AIの商品推薦は本当に上がるのですか

この論文の設定では、6つのAIのほぼすべてで推薦率が上がりました。ただし商品一覧をAIに直接渡した英語の実験で、文言は販売実績と無関係に足されています。

実際に書くなら、裏づけのある販売数や導入件数に限ってください。

「残りわずか」「会員限定」の希少性・限定性の表現は、AIの商品推薦で逆効果になるのですか

この論文では、AIが書き換えたコーヒーメーカーとカメラの実験で、6つのAIすべてで推薦率を下げました（本の分野や専門家の1文では、希少性が上がった例もあります）。

限定性のほうが下げ幅は大きめです。人の購買とは逆の結果で、論文も意外な結果として扱っています。

日本語での検証はまだありません。

認知バイアスで商品推薦が動く現象は、日本語の対話AIでも起きますか

論文は英語だけで試しており、日本語での結果はありません。ChatGPTも対象外です。

自社の分野で確かめたい場合は、日本語で実際に「おすすめは？」と何度か聞き、回答を記録して比べるのが確実です。

まとめ：今日できる1つのこと

自社の商品ページかサービス紹介ページを1つ開き、「限定」「残りわずか」「大人気」のように裏づけのない売り込みの文言を探してください。

見つかったら外し、代わりに販売数や導入件数など、出典を示せる実数を1つだけ書き足します。実数がなければ、仕様や用途の説明を1行増やすほうに回してください。

この論文は、LLMO論文の一覧の一本です。ほかの論文の解説も、順次公開しています。

ページを増やしても問い合わせが来ないなら、原因はページの外にあります。その場合は、下の入口からご相談ください。