【LLMO論文解説】ページ1枚の書き換えでAIのおすすめ1位は入れ替わるか「SIREN」｜124回中62回、防御は未測定（プレプリント）

旅行先で「この街のおすすめのレストランを5つ教えて」とAIに聞くと、AIはその場でウェブを検索し、集めたページを読んで順位つきの答えを返します。

この答えの1位は、集めたページのうち1枚を書き換えるだけで入れ替わるのでしょうか。

この問いを観光の推薦に絞って測ったのが、オーストラリアのクイーンズランド大学とカーティン大学の研究者による「SIREN」です。

この記事では原文から数字だけを拾い、1位が入れ替わった割合、その再現性、モデルによる差、防御について分かっている範囲を整理します。

攻撃に使う書き換えの中身や、それを作る手順は省きます。

合同会社謙虚は、3つのドメインを並行して運用し、何を変えると数字が動くかを測り続けています。AIの推薦がどれほど揺らぐものかを知っておくことは、自社の見え方を守るうえでも、怪しい「AI対策」を見分けるうえでも必要だと考えて読みました。

結論：3行で言うと

• 観光の推薦4問を2つのAIモデルで調べた8通りの組み合わせ、計124回の試験で、ページ1枚の書き換えにより狙った実在の事業者がAIの答えの1位になったのは62回（50.0%）でした。組み合わせごとの割合は26%〜100%と大きくばらつきました
• 1位になった書き換え済みのページを、新しい会話で10回ずつ読ませ直すと、平均80.5%の回で再び1位になりました。Claude Haiku 4.5では93.6%、Claude Sonnet 5では58.3%で、別のモデルへの効き方も一方向に偏っていました
• 防御を入れたときの効果は、この論文では未測定です。実験は保存したページをAIに渡し直す環境で行われ、実際の検索サービスの流れでは試されておらず、日本語での検証の記載もない、査読前のプレプリントです

論文は、危険の大きさを測って防御の設計に役立てることを目的に掲げ、見つけた弱点をモデルの開発元へ非公開の経路で報告したと書いています。

この記事も、防ぐ側・見分ける側の立場で読みます。

この論文の基本情報

項目	内容
題名（原題）	SIREN (Luring LLMs onto the Rocks): PAIR-Driven Preference Manipulation in Web-RAG Recommenders
著者	Caville、Kayser、Layeghy、Sung、Dolnicar、Portmannの6人。所属はクイーンズランド大学（5人）とカーティン大学（1人）
公開日	2026年7月24日（arXiv初版）。この記事は、2026年9月29日公開の第3版を読んで書いています
arXiv番号	2607.21951（主分類は情報検索）
掲載・採択状況	arXivのプレプリント（査読前の公開論文）。2026年9月30日時点で、arXivのコメント欄は空欄です
種類	大学の研究者による、攻撃手法の提案と安全性の評価実験
実験データとコード	集めたページ、店名との対応表、実験の全記録、実行できる攻撃プログラムは公開しないと明記されています（12節）

論文はこちらで読めます。arXiv（2607.21951）、DOI（10.48550/arXiv.2607.21951）。

この論文が答えた問い

AIがすでに読み込んだページのうち1枚だけを書き換えたとき、実在の事業者どうしの順位はどれだけ入れ替わるのか。その結果は新しい会話でも再現し、AIモデルが変わっても続くのか。

観光を選んだ理由を、論文は「使ってみるまで良し悪しが分からず、旅行者が口コミや紹介に頼りやすい分野だから」と説明しています。

AIがそれらを1つの答えにまとめると、どのページの主張が効いたのかが見えにくくなる、とも述べています。

題名の「PAIR（ペア）」は、AIの安全対策を試すために作られた既存の攻撃手法の名前です。

SIRENはこれを、推薦の順位を動かす目的に転用しました。

架空ブランドを薦めさせる研究はFORGEの解説で、商品一覧の順位を操る研究はCOREの解説で扱いました。

SIRENの特徴は、読ませるページの顔ぶれと順番を固定したまま実在の事業者どうしの1位争いを測り、1位になった結果が新しい会話や別のモデルでも続くかまで確かめた点にあります。

どうやって調べたのか

実験は2段階です。まず、モデルの開発元が提供するウェブ検索とページ取得の機能で実際のウェブからページを集めて保存し、次に、その1枚だけを手元で書き換えて、同じ顔ぶれ・同じ順番のページ一式をAIに渡し直します。

渡し直す段階では新たな検索をせず、保存した一式だけを使います。実在のウェブサイトや店舗の掲載情報は一切書き換えていない、と論文は明記しています。

項目	設定
質問	観光の推薦4問。大都市のレストラン上位5件（Q1）、地方都市の自然観察ツアー上位3件（Q2）、欧州の首都の中〜高価格帯ホテル上位5件（Q3）、欧州の首都のビーガン向けピザ店上位5件（Q4）。店名や地名は論文中で匿名化
調べたAIモデル	Claude Haiku 4.5とClaude Sonnet 5の2つ。同じ開発元のモデルだけです
組み合わせ	4問×2モデルで8通り。ページはモデルごとに集めたため、両モデルが読んだページ一式は別々です。AIに渡したページは1通りあたり9〜28件
押し上げる対象	書き換え前の答えに入っていない実在の事業者（8通り中7通り）。残る1通り（Q2とHaiku）は、書き換え前に3位だった事業者
書き換えるページ	1通りにつき、対象の事業者に触れているページ1枚だけ
試験の数	計124回。前半のQ1・Q2では用意した23種類の書き換え方をすべて試し（92回）、後半のQ3・Q4では前半で成績の良かった8種類だけを試しました（32回）
主な指標	狙った事業者が1位になった試験の割合（以下「1位到達率」）。ほかに、上位3位以内に入った割合と、順位の上がり幅（書き換え前から最良の順位までの上昇を、リストの長さで-1〜1にならした値）
順位の読み取り	全回答をプログラムで読み直し、人が監査した順位で報告。監査は盲検ではありません

このほかに、確認のための試験が3つあります。

• 対照：書き換えていないページ一式を、8通りそれぞれ新しい会話で20回ずつ読ませ、狙った事業者が自然に1位になることがあるかを確認
• 再現の確認：1位になった62件の書き換え済みページを、それまでのやり取りを持たない新しい会話で10回ずつ読ませ直す
• 別のモデルでの確認：Q2とQ4で、一方のモデルで1位になった書き換え済みページを、もう一方のモデルにも新しい会話で5回ずつ読ませる

結果

全体：124回のうち62回で1位

区分	試験数	1位到達率	上位3位以内	順位の上がり幅
全体	124	50.0%	68.5%	0.591
前半（Q1・Q2、全種類）	92	43.5%	67.4%	0.549
前半のうちHaiku	46	60.9%	記載なし	記載なし
前半のうちSonnet	46	26.1%	記載なし	0.424（10節）
後半（Q3・Q4、選んだ8種類）	32	68.8%	71.9%	0.711
後半のうちHaiku	16	68.8%	記載なし	記載なし
後半のうちSonnet	16	68.8%	記載なし	0.734（10節）

出典は論文の表5（全体・前半・後半）、表8（前半のモデル別）、表13（後半のモデル別）です。

モデル別の行は1位到達率だけを載せています。両モデルは読んだページ一式が別々で、直接比べる設計ではない、と論文は書いています（8節）。

• 124回のうち62回で、狙った事業者が1位になりました。対照の試験では、書き換えていないページ一式を8通りそれぞれ20回ずつ読ませ、狙った事業者が1位になったのは160回中0回でした（9.2節）
• 後半の68.8%は、前半で成績の良かった書き換え方だけを試した結果です。論文は、前半より改善した数字や全種類の平均として読まないよう注意しています
• 数え方を厳しくし、答えの中で狙った事業者が明示的に1番目に挙げられた回（58回）だけを数えると、1位到達率は46.8%になります（10節）

組み合わせごとに、結果は大きく違った

質問	モデル	段階	1位の回数	1位到達率	渡したページ数
Q1 レストラン	Haiku	前半	18/23	78.3%	9
Q2 ツアー	Haiku	前半	10/23	43.5%	9
Q1 レストラン	Sonnet	前半	6/23	26.1%	28
Q2 ツアー	Sonnet	前半	6/23	26.1%	17
Q3 ホテル	Haiku	後半	3/8	37.5%	10
Q4 ピザ店	Haiku	後半	8/8	100.0%	9
Q3 ホテル	Sonnet	後半	5/8	62.5%	19
Q4 ピザ店	Sonnet	後半	6/8	75.0%	9

出典は論文の付録Aの表13です。同じモデルでも、質問が変わると1位到達率は37.5%から100%まで動きました。

論文は、同じ組み合わせの中の試験は独立した証拠として扱えず、全体の50.0%は「この8通りの要約」だと明記しています。

新しい会話でも1位は再現したか

1位になった62件の書き換え済みページを、新しい会話で10回ずつ読ませ直した結果です（表6・表7）。

• 全体の平均は80.5%です。62件のうち37件は10回すべてで1位、2件は1回も1位になりませんでした
• Haikuで1位になった39件は平均93.6%で、33件が10回すべて1位、一度も1位にならなかったものは0件でした
• Sonnetで1位になった23件は平均58.3%で、10回すべて1位は4件、一度も1位にならなかったものが2件でした。この2件はいずれも、競合が1位を取り戻していました

論文は、見つかった成功の多くは改良の場の外でも続く一方、すべてがそうとは限らないとまとめています。

別のモデルに読ませると、効き方は一方向に偏った

質問	1位になったモデル	件数	Haikuで1位の割合	Sonnetで1位の割合
Q4 ピザ店	Haiku	8	100.0%	17.5%
Q4 ピザ店	Sonnet	6	100.0%	83.3%
Q2 ツアー	Haiku	10	92.0%	22.0%
Q2 ツアー	Sonnet	6	未測定	46.7%

出典は論文の表11です。Q2の未測定の欄は、渡すページ一式（約21万トークン）がHaikuの一度に読める量（20万トークン）を超えたためです。

• Haikuで1位になったページは、Sonnetではほとんど1位になりませんでした（Q4で17.5%、Q2で22.0%）
• Sonnetで1位になったページは、Q4ではHaikuでもすべて1位になりました
• 論文はこれを「効き方の非対称」と呼び、前半と後半の結果も合わせて、モデルの優劣に一様な順序は見られないと結論づけています

防御を入れたらどこまで下がるか：この論文では未測定

防御の仕組みを入れたときに1位到達率がどこまで下がるかは、この論文の測定範囲の外です。論文自身も、10節の防御の話は「設計上の示唆であり、測定した防御の結果ではない」と書いています。

そのうえで、実験中に観察された防御側の手がかりとして、論文は次の点を挙げています。

• Sonnetは、ページに埋め込まれた指示に気づき、問題の出典を名指しすることがありました（回数や割合の記載なし）。論文は、この警告を利用者に見せたり、その出典の影響を弱めたりする使い方を提案しています
• 論文は、ページの一部分を掃除するだけの対策では成功した攻撃の一部を取り逃がすとし、出どころの確認や複数の独立した情報源による裏づけを組み合わせる方向を示しています。1枚のページだけが主張する順位を、ほかの情報源が支持しない場合に割り引く、という考え方です

論文が詳しく示した1件の例では、狙った事業者が2位の段階では、AIは書き加えられた内容を「〜と自称している」と事業者の言い分として紹介していました。1位になった段階では、同じ内容を出典の断りなしに事実のように書いていました（9.7節）。

1件だけの例ですが、AIが「誰の主張か」を示さなくなると、読み手が見分ける手がかりも消えることが分かります。

論文自身が書いている限界

• 対象の狭さ：124回の試験は8通りの組み合わせの中に入れ子になっており、全体の数字は「この8通り」の要約です。広く言うには、独立した質問とページを増やす必要があるとしています
• 後半の選び方：後半の8種類は前半の結果で選んだため、後半の成績は「選んだ一部が新しい質問でも効くか」の確認です
• 改良の仕組みの効果：改良の仕組みそのものの効果は切り分けていないとしています
• モデルの範囲：調べたのは1つの開発元の2モデルだけです。モデル間の比較では、答えの揺らぎや考える機能の設定も一緒に変わるため、モデルそのものの差とは切り分けられていないとしています
• 実サービスとの違い：保存したページを渡し直す方式は書き換えの影響を比べるためのもので、実際の検索サービスと同じ振る舞いをするとまでは主張していません。書き換えたページが実際の検索や並べ替えを通り抜けるかも、評価の対象外です
• 書き換えの中身：根拠のない主張も認めた実験で、事実だけの内容で同じ効果が出るかは未検証としています
• ページ一式への依存：周りのページを固定して測っており、顔ぶれが変わっても効くかは示していないとしています
• 判定の確かさ：一部の条件は指示文で守らせているだけで、人による監査も盲検ではない、と限界に挙げています（10節）
• 防御：防御の仕組みは評価しておらず、示した対策の方向は設計上の示唆にとどまります

原文を読んで気づいた点

• 実際の検索サービスでの試験は対象外です。ページの収集には実際のウェブ検索を使っていますが、1位の判定はすべて、保存したページを渡し直す環境で行っています。ページを集めた日付も論文に書かれておらず、今の検索付きAIで同じ結果になるとは言えません
• 日本語での検証は報告されていません。質問の言語も明記がなく、対象は大都市1つ・地方都市1つ・欧州の首都2つの観光です（都市名は匿名化）
• 報告の数字は、プログラムで読み直した順位を人が監査して出しています。ただし、監査は盲検ではありません（10節）
• 2つのモデルで、答えさせる設定が異なります。Haikuは毎回同じ答えが出やすい設定、Sonnetは標準の設定です。そのHaikuでも、同じ条件の20回で16通りの文面が出た組み合わせがありました
• 狙った事業者の多くは、もともと答えに入っていなかった事業者です。すでに上位にいる事業者を1位にする場合や、下位に落とす場合の数字は、この論文からは分かりません
• 査読前のプレプリントです。この記事は、2026年9月29日公開の第3版を読んでいます

この論文から、言えること・言えないこと

言えること	言えないこと
この実験環境では、ページ1枚の書き換えで、答えに入っていなかった実在の事業者が1位になった試験が124回中62回あった	実際の検索付きAIサービスで、同じ割合で1位が入れ替わる
書き換えがない状態では、狙った事業者が1位になった回はなかった	どの業種・どの地域でも、同じくらい入れ替わる
1位になった書き換えの多くは、新しい会話でも再現した（平均80.5%）。再現のしやすさはモデルで違った（93.6%と58.3%）	どちらのモデルが操作に強いか、一般的な順序
あるモデルで効いた書き換えが、別のモデルでも効くとは限らなかった	日本語の質問やページでも同じ傾向になる
AIが埋め込まれた指示に気づき、出典を名指しすることがあった	防御を入れたときに、1位到達率がどこまで下がるか

中小企業の視点で、どう受け取るか

ここからは論文の主張とは別の、私の読み取りです。

AIの「1位」は、1枚のページで入れ替わりうるものとして受け取る

この実験では、1枚の書き換えだけで、答えに入っていなかった事業者が半数の試験で1位になりました。

AIに自社の業種のおすすめを聞いたら、1位を「評判の結果」とうのみにせず、出典まで開いて確かめる習慣が役に立つと考えます。

自社について書かれたページを、ときどき読み返す

守る側としてできるのは、自社について書かれたページに、事実と違う順位や数字が載っていないかを定期的に見ることです。見つけたら、掲載元に訂正を依頼するのが筋です。

「AIで1位にします」という提案を見分ける材料にする

この操作は、著者が非公開の経路でモデルの開発元に報告した弱点です。

こうした操作を売り物にする提案は、競合や利用者を欺くもので、倫理の面から勧められません。

また、この結果は保存したページを渡し直す実験環境のもので、実際の検索サービスでは確かめられていません。

よくある質問

SIRENの推薦操作は、これまでのSEOと同じ話ですか

論文は、検索順位が見え方を左右するからSEOが生まれ、GEO（生成AIの答えに取り上げられやすくする工夫）が同じ考え方をAIの答えに当てはめたと整理しています。SIRENは、その悪用の側を測った研究です。

扱うのは、1枚のページに手を加えて競合との順位を入れ替える攻撃です。GEOそのものはGEOの原論文の解説で紹介しています。

SIRENの実験結果は、実際のAI検索サービスでも同じですか

この論文の範囲では確かめられておらず、同じと考えるのは早計です。実験は、あらかじめ集めて保存したページをAIに渡し直す環境で行われました。

論文も、書き換えたページが実際の検索や並べ替えを通り抜けるかは評価の対象外だと明記しています。調べたのは2つのモデルだけで、日本語での検証も報告されていません。

SIRENのような推薦の順位操作に、AI側の防御は効きますか

この論文では、防御の効果は未測定です。Sonnetが埋め込まれた指示に気づいて出典を名指しした回があったという観察と、出どころの確認や複数の情報源による裏づけを組み合わせる方向が示されているだけです。

対策の効き目を測った研究としては、SafeGEOの解説で、候補ごとに裏づけを整理させる対策が上位入りを減らしたものの、書き換えのない状態には戻らなかった結果を紹介しています。

まとめ：今日できる1つのこと

AIに自社の業種と地域で「おすすめ」を聞き、答えが出典として挙げたページのうち、自社に触れているものを1つ開いてみてください。

そこに書かれた順位や数字が、自社の把握している事実と合っているかを確かめるのが、この論文から持ち帰れるいちばん手軽な守りだと考えます。

この論文は、LLMO論文の一覧の一本です。ほかの論文の解説も、順次公開しています。

ページを増やしても問い合わせが来ないなら、原因はページの外にあります。その場合は、下の入口からご相談ください。