【LLMO論文解説】GEO手法の比較は編集の自由度で混ざりうる｜どこを・どう・何を狙うかの分類と共通の評価手順（プレプリント）

GEO（生成AI検索で、自社の情報を見つけてもらいやすくする工夫）の手法は、この数年で一気に増えました。では、「この手法のほうが優れている」という比較は、公平にできているのでしょうか。

この問いに立場を示したのが、2026年10月16日に公開された論文「Humanity’s Last Choice: A Common Evaluation Standard for Generative Engine Optimization」です。

著者8人が、GEOの手法やAIシステムを比べるための共通の評価基準を、研究者に呼びかけています。この記事では、原文から読んだ内容を、論文が述べたことと私の読み取りに分けて整理します。

合同会社謙虚は、3つのドメインを並行して運用し、何を変えると数字が動くかを測り続けています。「何を変えたのか」を言葉でそろえる考え方は、自社の記録のつけ方にも通じるため、この論文を読みました。

結論：3行で言うと

• GEOの手法の比較では、編集してよい範囲がそろっていないと、手法の良さと編集の自由度の差が混ざりうると、論文は指摘しています
• そのために論文は、編集を「どこを」「どう」「何を狙って」の3つの軸で書き表す分類と、比べ方の手順を提案しました
• ただし、この論文の実験は0件です。共通の基準を採用すると最適化の効果や元のタスクの成績が良くなるかどうかは、論文自身が「実証していない」と書いています

この論文の基本情報

論文はarXiv（2610.23541）とPDFで読めます。プロジェクトサイトはhumanitylastchoice.orgです。

GEOの全体像は、サーベイ論文の解説記事で整理しています。GEOの出発点になった研究は、GEO原論文の解説記事をご覧ください。

この論文が答えた問い

GEOの手法やAIシステムを比べるとき、何を共通にすれば、その比較は意味を持つのか。

論文の背景は、次のとおりです。AIが人の代わりに情報を集め、候補を比べ、選ぶ場面が増えています。

そのAIが読む出典は、情報の発信者が書き換えられます。

論文は、「人が最後に下す選択は、どのAIに後の判断を任せるかになる」と考えます。これが題名の「Humanity’s Last Choice」の意味です。

だから、書き換えられた出典にさらされたとき、各AIが利用者の依頼をどれだけ正しくこなすかを、同じ基準で比べたい、というのが論文の動機です。

既存のベンチマーク（比較用の共通テスト）は、タスク、モデル、指標をそろえてきました。しかし論文は、どんな編集を許すかまでは、そろっていないと指摘します。

短い文字列を足すだけの手法と、ページ全体を書き直せる手法を、同じ採点役で比べたとします。点数の差は、手法の優劣なのか、編集の自由度の差なのか、区別がつかなくなることがあります。

どうやって調べたのか

この論文の実験は0件です。論文自身が、人を対象にした調査も、新しいデータも、モデルの実験も含まないと書いています。

やっているのは、既存の研究を読んで分類の軸を作り、評価の手順を設計することです。作ったものは、次の3つです。

3つの軸の中身

3つの軸の項目を、日本語に直して並べます。原文の名前は、層がOptimization Layer、操作がOptimization Action、信号がOptimization Signalです。

論文は、1つの編集をこの3つの組み合わせで書き表します。たとえば、根拠の段落をページの先頭へ動かす編集は、「文書の構造」「並べ替え」「目立ちやすさ」と書けます。

論文の例題では、候補ツールを紹介する3つの説明文のうち、1つの説明文の中だけ並び順を変えることを許します。他の説明文は変えず、すべての単位を元のまま残します。

信号の欄は、狙いの記録です。効果を測った結果ではない、と論文は注意しています。

結果

前述のとおり、実験の結果は0件です。ここでは、論文が提案した内容を整理します。

既存研究の地図から読み取れること

• 短い文字列を足す手法は、操作が「挿入」に固定されています。論文は、STSとRAFという手法をこの例として挙げます
• 書き換えの指示や規則を学習する手法は、層・操作・信号は、実際に行われた編集を見て決めるとされます。論文は、手法全体に1つのラベルを付けないよう求めています
• 文字列が不透明で何を狙うか分からない編集は、信号を「特定できない」と記録します

比べ方は3種類

論文は、比較の目的ごとに、固定する条件を変えます。

測る指標は3つ

編集の妥当性の例を、論文が挙げています。順序を変えてよい課題で、注意書きまで消した編集は、見えやすさが大きく上がっても、制約違反になります。

付録には、もう1つの条件があります。見えやすさの上昇を抑えるために、有用な推薦をすべて断るAIを、高く評価してはいけないという考え方です。

共通のリーダーボード（順位表）の構想

論文は、新しい手法や新しいAIを、同じ条件の順位表に載せることを構想しています。順位表には、実際に試した戦略の組み合わせと、許されているのに未検証の組み合わせを並べて報告します。

失敗した組み合わせを、実行後に取り除いて網羅度を上げることは、できないようにします。また、評価の版ごとに結果を残し、古い順位表の意味を保つ、とも述べています。

プロジェクトサイトに書かれていること（論文本文とは別）

以下は、2026年11月1日に私が開いたプロジェクトサイトの記載です。論文本文には書かれていない内容を含みます。

• サイトは、この論文を「Preprint, under review」と表示しています。審査中のプレプリントという意味に読めますが、投稿先は書かれていません
• サイトには、ベンチマークとリーダーボードの頁があります。商品の6分野（会議の文字起こしツール、ベビーモニター、バックパック、空気清浄機、ヘッドホン、オフィスチェア）が「利用可能」と表示されています
• リーダーボードの表は、出所が、著者らの別の論文であるSafeGEOと表示されています。たとえば、ある1つのモデルで「編集された候補が上位3位に入る割合」が、事実どおりに書き換えた場合は4.6%、勝たせるように編集した場合は72.6%と載っています。これはサイトの表示であり、元の論文との照合は未実施です
• この記事で解説している論文の数字は、分類の数と文献の数が中心です。サイトの順位表は別の論文の結果なので、この論文の主張とは切り分けて読んでください

論文自身が書いている限界

論文は、「限界」「倫理的配慮」の節と付録で、次の点を書いています。

• 効果の実証は、この論文の範囲外です。提案した分類と共通基準を採用すると、最適化の効果や元のタスクの成績が良くなるかどうかは、この論文では示していません
• 編集の層が連動します。文書の構造を変えると、言い回しや情報の中身も変わることがあります。どの層の貢献かを読むには、個別の分析が必要だと述べています
• 別の見方があります。分野ごとの評価や、自由な戦略の発見を重んじる立場からは、固定した共通の空間が、新しい戦略を見落とす恐れがあります。論文は、分野別のタスクや指標を残し、分類を拡張できるようにして応えるとしています
• 両刃の性質があります。共通の戦略の地図は、評価する側にも、AIを誘導したい発信者にも役立ちます。論文は、新しい最適化の方法は示さず、地図に載せた戦略はすでに公開されたものだと述べています
• 分類の一致率は未報告です。独立した注釈者による検証の手順は付録に書かれていますが、その結果はこの論文では主張されていません

原文を読んで気づいた点

ここからは、論文が書いている限界とは別に、私が原文を読んで気づいた点です。

• 実験がないため、「比較が混ざる」という懸念は、論理の説明にとどまっています。論理的な説明は明快ですが、実際にどれくらい混ざっているかの数字は、この論文には載っていません
• 著者らの前作が、表2でいちばん多くの印を持つ行でした。著者のうち5人は、SafeGEOの著者と重なります。表2でSafeGEOの行は、私が数えた範囲でチェックが最も多い行でした（14個）。手法の幅によるのか、記述の詳しさによるのかは、論文からは分かりません。ただし、論文は研究の選び方を、名前のついた戦略、トークン最適化、学習した規則、特徴の設定、進化する戦略、共有の評価器を含めた、と付録で説明しています
• 表2のチェックの読み方に注意が必要です。論文自身が、空欄は「未確認」を表し、「できない」という意味は持たず、同じ行のチェックが組み合わせの実施を意味するわけでもない、と書いています
• 日本語での検証は、この論文の範囲外です。文献は英語の論文で、日本語や日本のサービスについて、論文は触れていません
• 実サービスでの検証は、この論文の範囲外です。論文は、編集した出典をAIに直接渡す場合と、検索を通す場合で条件が変わると述べています。実在する検索サービスでの試験は、論文の範囲外です
• 評価の方法は、設計の段階です。提案する採点は、正解や関連性の判定など、出典とは独立した根拠を使います。注釈は、2人以上の人手を提案しており、実施の結果は論文の外にあります
• 査読の有無は、論文の情報だけでは不明です。arXivのコメント欄に学会名はなく、本文に「別の見方」の項があるのは、立場を述べる論文に見られる書式です（私の推測）。投稿先も不明です。サイトの「審査中」という表示は、論文本文の根拠にはなりません

この論文から、言えること・言えないこと

中小企業の視点で、どう受け取るか

ここからは論文の主張とは別の、私の読み取りです。論文は研究者向けの提案で、中小企業向けの助言は対象外です。

1. 「GEOで◯%上がった」という話は、条件を確かめてから読む。どこまで書き換えてよい実験だったか、事実や注意書きを変えていないか、何と比べた数字かが、分かる範囲を見ます。論文の問題意識は、この確認の順序と重なります
2. 自社の変更を、3つの軸で記録する。「どこを、どう直し、何を狙ったか」を1行ずつ残しておくと、数字が動いたときに、原因の候補を絞りやすくなります。分類の言葉は、そのまま借りられます
3. 条件や注意書きを残したまま、見つけてもらう。論文は、並べ替えしか許さない例題で、注意書きの削除を制約違反の例にしています。読者に必要な条件を残したまま見つけてもらう方向が、長く使える改善だと私は考えます
4. AIサービスの優劣の判断は、保留する。この論文が構想する共通の順位表は、論文の時点では構想の段階です。当面は、自社に関する質問をAIに投げ、自分の目で回答を確かめる運用が現実的です

よくある質問

Humanity’s Last Choice論文の共通評価基準は、すでに使える採点表ですか

まだ提案の段階です。論文は、分類と手順の案を示し、研究者に参加を呼びかけています。

付録には、戦略を書き表す仕様の下書き（版番号は0.1の下書き）が載っています。これも案で、基準は未完成の段階です。

GEOの分類（編集する場所・操作・狙う手がかり）は、自社サイトの改善にそのまま使えますか

研究者が手法を整理するために作った分類なので、そのまま使うには調整が要ります。ただ、変更の記録をつける言葉としては、借りられます。

分類が示すのは狙いの記録で、効果の保証とは別物です。論文も、狙いの記録と、実際に測った効果を、別のものとして扱っています。

Humanity’s Last Choice論文では、編集が正当かどうかを、どう判断しますか

論文が使う基準は、許された戦略と制約を守ったかどうかです。守っていない編集は、見えやすさが上がっても、制約違反として報告されます。

論文は、出典を編集すること自体が悪いわけではない、とも書いています。読み手に分かりやすくする編集は役立つ一方、根拠のない権威づけや裏づけのない主張は、誤解を招き得るという整理です。

まとめ：今日できる1つのこと

次にページを直すとき、変更内容を「どこを、どう、何を狙って」の3点で、1行メモに残してください。数字が動いたあとに、何が効いた可能性があるのかを振り返る材料になります。

この論文は、LLMO論文の一覧の一本です。ほかの論文の解説も、順次公開しています。

ページを増やしても問い合わせが来ないなら、原因はページの外にあります。その場合は、下の入口からご相談ください。