【LLMO論文解説】商品説明に紛れた順位操作を見抜けるか｜既知の手口は大半を検出、新しい手口5種類は見抜けず（SCI-Defense・プレプリント）

AIに商品を比べさせて順番をつけさせる仕組みでは、出品者が商品説明に文章を足して、自分の商品を上に押し上げる操作が起こりえます。

今回の論文は、その操作を見抜く守る側の研究です。2026年5月にarXivで公開された「SCI-Defense: Defending Manipulation Attacks from Generative Engine Optimization（生成エンジン最適化による操作攻撃を防ぐ）」で、手法の名前はSCI-Defenseです。

この記事では、原文から、どんな仕組みで見抜き、どの操作をどれだけ防げたのか、正当な商品説明が誤って弾かれなかったか、どんな条件で効きにくかったかを整理します。防いだ操作の文例や作り方、この防御をすり抜ける方法につながる細部は載せません。

合同会社謙虚は、3つのドメインを並行して運用し、何を変えると数字が動くかを測り続けています。AIの並べ替えに防御が入ったとき、正直に書いた商品説明が巻き添えで不利にならないかを確かめるために、この論文を読みました。

結論：3行で言うと

• 先行研究COREの3種類の順位操作を、商品説明600件（6分野）で試すと、SCI-Defenseは意味の通らない文字列型を全件、推論風の文章を95.2%、口コミ風の文章を83.0%見抜き、正当な商品説明を誤って弾いた件数は0件でした（再現率と誤検出率、論文の表2）
• 比較に使った既存の3つの守り方（不自然な文章を弾く、有害な内容の分類器、AIによる言い換え）は、推論風・口コミ風の操作を1件も見抜けませんでした。言い換えは、正当な説明の2.7%で誤検出を出しました
• 一方で、著者ら自身が考えた新しい操作6種類のうち5種類は、ほぼ見抜けませんでした。一般の文章（MS MARCO）では口コミ風の操作の検出がほぼ0%でした。実際のAI検索サービスでは試しておらず、英語だけの、査読前のプレプリントです

この論文の基本情報

項目	内容
題名（原題）	SCI-Defense: Defending Manipulation Attacks from Generative Engine Optimization
著者	Xucheng Yu、Haibo Jin、Huimin Zeng、Haohan Wang（4人。イリノイ大学アーバナ・シャンペーン校。うち1人は企業にも所属）
公開日	2026年5月21日（arXiv第1版。2026年9月30日時点で版はこの1つ）
arXiv番号	2605.21948（分類は機械学習）
掲載・採択状況	arXivのプレプリント。コメント欄の記載は「20 pages, NeurIPS 2026 submission」（20ページ、NeurIPS 2026への投稿）で、採択の記載はありません。本文の書式もNeurIPSの投稿用チェックリスト付きです
種類	大学を中心とした研究。既存のデータに操作を加えた文章を混ぜ、防御がどれだけ見抜けるかを測る実験室の実験
実験データとコード	コードと評価データは「採択後に公開する」と書かれています。2026年9月30日時点の原文に公開先の記載はありません

論文はこちらで読めます。arXiv（2605.21948）、arXivのDOI。

この論文が答えた問い

商品説明に紛れ込ませた順位操作を、正当な商品説明を1件も巻き添えにせずに見抜けるのか。

論文はまず、AIによる順位操作と、AIに禁止された回答をさせる「脱獄」との違いを強調します。脱獄の文章は意味が通らなくても構いません。

順位操作の文章は、AIを説得しつつ、買い手の人間にも自然に読める必要があります。この制約のせいで操作の文章は自然になり、脱獄向けの見張りでは見つけにくい、というのが論文の見立てです。

防御の相手は、口コミ風の文章で商用AIのおすすめ順を動かしたCOREの研究の3種類の操作です。

著者4人のうち3人はCOREの著者でもあり、同じ研究グループが攻撃と防御の両方を書いた形です。論文は、正当な商品を誤って下げることは売り手に実害を与えるとして、誤検出0件を「譲れない条件」として扱っています。

どうやって調べたのか

3つの仕組みを順番に通す

SCI-Defenseは、商品説明1件ずつに次の3つの仕組みを順番に当てます。

仕組み	何を見るか（考え方）	主に担当する操作
1. 不自然さの検出	文章の「予想しにくさ」（パープレキシティ）を小さなAI（GPT-2）で測り、人の文章ではまず出ない極端な値のものを最初に外す	意味の通らない文字列型
2. 意味の整合性の採点	GPT-4oに、文章が「商品を説明するため」に書かれているか、「順位をつけるAIを説得するため」に書かれているかを4つの観点で採点させる。観点は、権威づけ（認証や専門家の推薦の積み重ね）、結論へ導く語り口、他社より優れているという比較、急がせる・新しさを強調する表現	推論風・口コミ風の文章
3. 候補同士の比較	同じ一覧の候補同士の文章の似かよい方を比べ、ほかの候補の言葉を不自然に取り込んでいるものを探す。単独では誤検出が多いため、2の採点に混ぜて補助に使う	2の見落としを減らす

最終的に「操作あり」「疑わしい」「問題なし」の3段階に分け、前の2つはどちらも最後尾に回します。

実験の条件

項目	設定
主なデータ	COREの研究が作った商品データ（ProductBench）から600件。自動車用品、電子機器、家庭・キッチン、おもちゃ・ゲーム、パソコン・周辺機器、産業・科学の6分野に各100件。大手通販サイトの商品説明をもとにしたもの
操作の数	600件それぞれにCOREの3種類の操作（文字列型、推論型、口コミ型）を加え、計1,800件
商品以外のデータ	研究用の検索データ（MS MARCO）の一般の文章600件。技術、科学、健康・医療、法律・行政、金融・経済、歴史・文化の6分野に各100件
防御に使ったAI	不自然さの測定にGPT-2、採点にGPT-4o。候補同士の比較に使った仕組みの名前は書かれていません
比べた守り方	不自然な文章を弾く方法、有害な内容を見つける分類器、GPT-4oで全商品の説明を言い換えてから並べる方法
基準の決め方	自動車用品のデータの20%を調整用に取り分け、「誤検出0件」を条件に、総合的な成績（F1）が最も高くなる基準を探した
主な指標	再現率（操作のうち見抜けた割合）、適合率（操作と判定したうち本当に操作だった割合）、誤検出率（正当な説明を操作と判定した割合）、防御後に操作した商品が上位3位・5位に残らなかった割合

評価はすべて自動で、操作を加えたかどうかという既知の正解と照らして数えています。

結果

商品説明では、誤検出0件のまま大半を見抜いた

論文の表2から、商品説明600件での分野ごとの再現率を抜き出しました。表の注記によると、どの行も適合率は1.000、誤検出率は0.000です。

分野	文字列型	推論型	口コミ型
自動車用品	1.00	0.95	0.82
電子機器	1.00	0.96	0.82
家庭・キッチン	1.00	0.98	0.89
おもちゃ・ゲーム	1.00	0.96	0.75
パソコン・周辺機器	1.00	0.93	0.83
産業・科学	1.00	0.93	0.87
平均	1.00	0.952	0.830

• 推論型の見落としは600件中29件、口コミ型は600件中102件でした（4.7節）。口コミ型は実際の購入者の感想と書きぶりが近く、採点が基準のすぐ下にとどまりやすかったと論文は分析しています
• 見落としのうち、実際に順位を動かすことに成功していたのは、推論型で29件中5件、口コミ型で102件中6件でした。論文はこれを最優先の課題としています
• 見抜いた1,669件は、すべて最後尾に回されました

既存の3つの守り方は、推論風・口コミ風に効かなかった

論文の表3です（数字は再現率と、正当な説明での誤検出率）。

守り方	文字列型	推論型	口コミ型	誤検出率
不自然な文章を弾く	1.00	0.00	0.00	0.000
有害な内容の分類器	0.00	0.00	0.00	0.000
AIによる言い換え	0.00	0.00	0.00	0.027
SCI-Defense	1.00	0.952	0.830	0.000

• 有害な内容の分類器は、すべての操作を素通りさせました。順位操作の文章には有害な内容が含まれないため、脱獄向けの見張りでは原理的に拾えない、と論文は述べています
• 言い換えでは、操作の狙いが言い換え後の文章にも残りました。5通りの言い換えの指示を比べた実験（表5、自動車用品30件）では、操作された商品を上位3位から外せた割合は平均0.389〜0.694で、SCI-Defenseの1.000に届きませんでした。操作の種類を説明したうえでの言い換えでも、ふつうの言い換えと成績が変わらなかったと論文は書いています

3つの仕組みは、それぞれ別の操作を受け持つ

1つずつ外して試した実験（表4、自動車用品50件）では、不自然さの検出だけだと文字列型しか見抜けず、採点だけだと文字列型を見抜けませんでした。

候補同士の比較だけでは、正当な説明の74%を誤って操作と判定しました。採点の4つの観点は、どれを1つ外しても総合的な成績の低下が0.015以下でした。

基準の調整の経緯も書かれています。最初の基準では、正当な自動車用品の説明の約85%が操作と判定されました。

「純正品より良い」「さびに強い」のような、その分野ではごく普通の売り文句が、採点に弱く反応したためです。著者らは基準を2度見直して誤検出を0にし、「基準は分野ごとに調整すべきで、誤検出0は譲れない条件として扱うべきだ」と述べています。

商品以外の文章と、新しい操作では効きにくかった

• 一般の文章（MS MARCO、600件）では、誤検出0と文字列型の全件検出は保たれました。推論型の再現率は平均0.785（分野別0.68〜0.87）、口コミ型は平均0.008で、6分野中5分野が0.00でした。論文は、一般の文章には説得の気配が少ないためと説明し、口コミ型の操作はそもそもこうした文章では効きにくいとも書いていますが、後者を示す実験は見当たりません
• 著者らが新たに考えた6種類の操作を、自動車用品30件で試しました（表7）。SCI-Defenseが見抜けたのは1種類（検出率83.3%）だけで、残り5種類は検出率0〜6.7%でした。おもちゃ・ゲームの分野でも同じ傾向が確認されています
• 論文は見抜けなかった5種類を、説得の言い回しに頼らず関連の強さを見せる操作とまとめ、「誤検出を増やさずに基準の調整だけでは塞げない構造的な盲点」と書いています。塞ぐには利用者の質問と照らし合わせる仕組みが要る、というのが著者らの見立てです

論文自身が書いている限界

限界をまとめた独立の節はなく、4.2節・考察・結論・投稿用チェックリストに散らばっています。

• 新しい操作5種類を見抜けなかった盲点は、基準の調整では塞げず、今後の課題だと書いています
• 基準は分野ごとに調整が必要だとしています（4.2節）。なお、今回の基準は自動車用品のデータで決めたものです（4.1節の設定）
• GPT-4oによる採点には多少のばらつきがあり、その大きさは測っていないと認めています。誤差の幅や信頼区間は示されていません
• 計算に使った機材やAIへの問い合わせ回数は書かれていません
• 操作の手口を詳しく書くことが悪用を助けうる点を、社会的な影響として挙げています

原文を読んで気づいた点

• 実際のAI検索サービスでは試していません。序論では商用の買い物向けAI検索を例に挙げていますが、実験は用意したデータの上だけです。チェックリストにも「管理された環境で行い、実際の利用者やシステムには影響していない」とあります
• 順位をつけたAIの名前が書かれていません。防御後の順位を測るには、候補を並べるAIが要ります。どのAIに何件の候補を並べさせたのかは、原文から読み取れませんでした
• 防御の相手は、手口を知っている3種類の操作です。基準もその3種類で調整しています。手口を知らない新しい操作では、6種類中5種類を見抜けませんでした。表2の成績は「既知の操作に対する成績」として読むのが妥当だと考えます
• 数字の食い違いがいくつかあります。本文は「すべてで誤検出0」としますが、表4（50件）では完全版の誤検出率が0.02です。見落としのうち順位操作に成功した例（計11件）がある一方で、上位3位・5位から外せた割合は1.000とされています。基準調整の説明にある「正当な自動車用品の説明200件」は、分野あたり100件という設定と合いません。図2の注記の「口コミ型の74.7%が基準のすぐ下」は、本文では「見落とした口コミ型の74.7%」となっています
• COREの論文と結果が違う点があります。COREの論文では不自然な文章を弾く見張りで推論型の効き目が大きく下がりましたが、本論文では同じ種類の見張りの再現率が0です。基準の置き方の違いと読めますが、原文に説明はありません
• 誤検出0件は、データの元の説明600件での結果です。大手通販サイトの説明をもとにした6分野600件での結果で、比較や認証の記載が多い説明を狙って集めて試したわけではありません。最初の基準では約85%を誤検出していたことから、基準の置き方しだいで結果が大きく変わる仕組みだと読めます
• 評価はすべて自動です。繰り返しの回数や、COREのデータ（15分野）から6分野・各100件をどう選んだかは書かれていません
• 日本語での検証はありません。商品説明も一般の文章も英語です
• 査読前のプレプリントです。NeurIPS 2026への投稿と記載されていますが、採択の記載はありません。著者の1人は企業にも所属しています

この論文から、言えること・言えないこと

言えること（論文の設定で確認された）	言えないこと（論文では確認されていない）
英語の商品説明600件で、COREの3種類の操作の大半を、正当な説明の誤検出0件のまま見抜けた	実際のAI検索サービスや通販サイトで、同じ成績が出ること
不自然さの見張り、有害な内容の分類器、AIによる言い換えは、推論風・口コミ風の操作を見抜けなかった	ここで試した以外の守り方（投稿者の確認、購入履歴の照合など）の効き目
文章が「説明のため」か「説得のため」かを採点する考え方は、自然な操作の文章に効いた	手口を知らない新しい操作にも同じように効くこと（試した6種類中5種類は見抜けなかった）
一般の文章では、口コミ風の操作をほぼ見抜けなかった	日本語の説明、比較・認証の記載が多い説明、ここに無い分野で誤検出が出ないこと
売り文句を含むふつうの商品説明も、基準の置き方しだいで大量に誤検出されうる（最初の基準では約85%）	防御の導入が、売り手の売上や買い手の満足にどう影響するか

「誤検出0件」は、自動車用品のデータで決めた基準を、データの元の説明に当てて数えた結果です。どんな説明でも弾かれないという保証とは別物です。

中小企業の視点で、どう受け取るか

ここからは論文の主張とは別の、私の読み取りです。

防御が入ると、誤って弾かれたときの損が大きい

SCI-Defenseは、怪しいと判定した商品を一覧の最後尾に回します。論文自身が、正当な商品を誤って下げることを「売り手への実害」と呼び、誤検出0を最優先にしました。

裏返すと、同じ考え方の防御が調整不足のまま使われれば、正直な売り手の商品が理由も分からず最後尾に回りえます。最初の基準で正当な説明の約85%が引っかかった経緯が、その危うさを示しています。

自社の説明文に、説得の言い回しを重ねすぎていないか見直す

論文が見ている4つの観点は、権威づけの積み重ね、結論へ導く語り口、他社より優れているという比較、急がせる表現です。「純正品より良い」程度の売り文句でも、最初の基準では反応しました。

根拠のない比較や煽りを重ねた説明は、防御の側から見て怪しさの材料になりえます。比べる表現には根拠を添え、価格・仕様・実績を事実のまま書く。

人の買い手に分かりやすい書き方が、防御が入った場合にも無理のない土台になると考えます。

自社でAIの並べ替えを使うなら、言い換えだけでは守れない

出品者や会員の文章をAIに並べさせる仕組みを自社で持つ場合、「AIに一度言い換えさせれば操作は消える」という発想は、この論文の実験では通用しませんでした。

順位操作は「有害ではないのに不公平」という性質のもので、それ専用の見張りが要る、というのが論文から読み取れる要点です。GEO攻撃を検索と回答の2段階で防ぐGEO Defenderの論文も、本論文を最も近い防御の研究として挙げています。

よくある質問

SCI-Defenseは、実際のAI検索サービスで使われていますか

論文には、実際のサービスで使われているという記載はありません。実験も、用意した英語のデータの上で行ったものです。

論文は、実際の導入では利用者の質問を使った見張りを足せる、と今後の方向を示しています。

SCI-Defenseで、正当な商品説明が誤って最後尾に回されることはありますか

論文の主な実験では、商品説明600件と一般の文章600件のどちらでも、正当な説明を操作と判定した件数は0件でした。ただし基準の調整前は約85%を誤検出しており、構成を比べた小さな実験（50件）では誤検出率0.02の結果も載っています。

基準の置き方と分野によって結果が変わりうる、と受け取るのが妥当です。

SCI-Defenseと、既存の「不自然な文章を弾く」見張りは何が違いますか

不自然な文章を弾く見張りは、意味の通らない文字列は止めても、自然な推論風・口コミ風の文章は素通りさせました（再現率0）。

SCI-Defenseはこの見張りを1段目に残し、文章が説明と説得のどちらのために書かれているかをAIに採点させる2段目を足しています。

推論風の95.2%、口コミ風の83.0%を見抜いたのは、主にこの2段目です。

まとめ：今日できる1つのこと

自社の主力商品の説明文を1つ開き、「他社より優れている」「専門家も推薦」「今だけ」のような言い回しが、根拠なしに重なっていないかを数えてみてください。

この論文の防御は、まさにそうした説得の重なりを操作の兆候として読んでいました。根拠のある比較は根拠を添え、根拠のない煽りは外す。

買い手にも、AIの並べ替えにも、同じ説明文で向き合える状態に近づきます。

この論文は、LLMO論文の一覧の一本です。ほかの論文の解説も、順次公開しています。

ページを増やしても問い合わせが来ないなら、原因はページの外にあります。その場合は、下の入口からご相談ください。