AIに質問して引用を数える測り方は、費用がかかり、結果も毎回少しずつ変わります。そこで、質問する前に別のモデルで「どのページが引用されそうか」を予測する道具が使われ始めています。
2026年10月28日にarXivで公開された論文「Predicting What Answer Engines Cite」は、その予測の道具を、10のAIが実際に出した引用と照らして比べた研究です。この記事で分かるのは、道具ごとの点数、小型のモデルが大型に並べたのか、そして結果をどこまで信じてよいのかです。
合同会社謙虚は、3つのドメインを並行して運用し、何を変えると数字が動くかを測り続けています。この論文を読んだのは、引用の予測をうたう道具の点数を、施策の判断にどこまで使ってよいかを、原文で確かめるためです。
結論：3行で言うと
- 最も当たったのは、候補の5ページをまとめて比べさせる判定モデルで、10のAIの引用順位との一致は0.575〜0.578（1が完全一致）でした。既製のリランカー（質問との関連で並べ替えるモデル）は0.341〜0.452です
- 著者らが蒸留した4Bの小型モデルは0.542〜0.549でした。27Bのモデルとの差は229の質問では統計的に区別できませんでしたが、「同等」とは確かめられていません
- 同じ質問に複数のAIが答えた場合の、あるAIと他のAIの平均との一致は0.704で、どの道具もそれより下にとどまっています。しかも、検索を切り、5ページを固定で渡した実験室の結果です
著者2人は、生成AI上での見え方に関するサービスを提供する企業の所属です。評価の対象には著者らが作って公開したモデルも入っているため、この点は後の章で扱います。
この論文の基本情報
| 項目 | 内容 |
|---|---|
| 題名 | Predicting What Answer Engines Cite: Open Decision Models, Rerankers and a Distilled 4B Student on Ten Engines under Controlled Retrieval |
| 著者 | Elisha Bajemon、André-Louis Rochet（2人。所属は同じ企業で、生成AI上の見え方に関するサービスを提供していると、論文の開示欄に書かれています） |
| 公開 | 2026年10月28日（arXiv初版のみ）。分野は情報検索（cs.IR）と人工知能（cs.AI） |
| 掲載状況 | arXivのプレプリント。コメント欄はページ数・図表の数・公開先の案内だけで、学会・論文誌の名前はなく、査読を経たかは確認できませんでした |
| 種類 | 評価論文。既製のリランカー、判定モデル、蒸留したモデルを、同じデータで比べています |
| データ・コード | モデル、評価データ、予測結果、コードを公開（モデルはApache 2.0、データはCC BY-SA 4.0）。教師ラベルは非公開です |
| 利益相反の開示 | 著者が、生成エンジンでの見え方に関するサービスを提供する企業に雇用されている、という1文のみ（8章・意訳） |
論文はこちらで読めます。arXiv（2610.38090）、DOI。
モデルとデータ・コードの公開先は、arXivのコメント欄に記載されています。
自社製品の評価になっていないか、という点を、原文の記載の範囲で整理します。
- 比べた採点器の中に、著者らが作って公開した蒸留モデルが入っています
- 判定モデルへの質問文は著者らが決めています。5ページを固定で渡す設定とラベルの定義は、GEO-Benchと先行研究に沿ったものです
- 論文の結論は「区別できない」とだけ述べています。点の推定は、表1で0.033〜0.037低めです
- 原文に見当たらなかったのは、資金の出どころ、評価に使った商用判定モデルの提供会社との関係、著者の所属企業のサービスがこのモデルを使っているかの3点です
この論文が答えた問い
AIが5ページの候補から引用する割合を、AIに質問せずに予測するとき、どの道具がどこまで当たるのか。小さなモデルでも、大きなモデルに並べるのか。
予測の道具には、大きく3種類あります。質問との関連だけを見て並べ替える既製のリランカー、採点基準を渡して順位を付けさせるAI、そして質問ごとに0〜5のような決まった段階へ確率を配る専用の判定モデルです。
論文は、判定モデルと蒸留モデルを、AIの実際の引用に照らして測った例を知らないと述べています。
どうやって調べたのか
GEO原論文（前の記事で解説しています）が作った質問集 GEO-Bench を使い、10のAIの回答に対して、各道具の予測を答え合わせしています。回答データは、同じ著者らの先行研究（この記事で解説しています）で集めたものです。
| 項目 | 内容 |
|---|---|
| 質問 | GEO-Benchのテスト用質問229問（英語） |
| 候補ページ | 質問ごとに5ページ。各ページは先頭320語 |
| 答えるAI | 10種類。5ページを決まった順で渡し、検索は切ってあります。温度0、モデルの版は固定。GPT系が4つ、残りはGemini、Gemma、Mistral、Qwen、Llama、nex-n2-proが各1つ |
| 1問に答えたAIの数 | 1つが79問、5つが50問、7〜9つが23問、10すべてが77問 |
| 正解ラベル | 「引用の取り分」。そのページを根拠にした文の語数を、文の位置（前のほうほど重い）で重み付けして足し、5ページで割合にしたもの |
| 評価の単位 | AI×質問の組。全ページの取り分が同じ組を除いた1,220組、ページ数は1,145 |
| 点数 | 組ごとに、予測の順位と取り分の順位のスピアマン順位相関を取り、平均した値。1で完全一致、0で無関係 |
| 補助の指標 | 1位の的中。採点器が1位にしたページが、実際に最も引用されたページの1つだった割合（当てずっぽうで0.23） |
| 誤差の見積もり | 質問単位で再抽出した95%区間。差の区間が0をまたぐとき、論文は「区別できない」と呼びます |
比べた採点器は、次の4群と基準です。
- 既製のリランカー5種：質問との関連を測るために作られた並べ替えモデル。訓練なしで使います
- 判定モデル：提供会社のAPIで使う商用の1つと、公開されている8つ。ページは各250語に切り、質問文は全モデル共通の1種類です。5ページをまとめて聞く方式と、1ページずつ聞く方式の両方を試しています
- 蒸留モデル：大きなモデルの採点を教師にして、小さなモデルに同じ採点を真似させたものです。Qwen3-Rerankerの0.6B、4B、8Bに、757組の訓練データで学習させました。教師は、商用判定モデルと、採点基準を渡したAIの2つで、教師同士の一致は0.759です
- 基準：ページの位置だけで並べる方法と、語の一致（BM25）
結果
あるAIと他のAIの平均との一致は0.704だった
| 採点器 | 条件 | 点数（95%区間） | 1位の的中 |
|---|---|---|---|
| 他のAIの取り分の平均 | 参考（1,141組） | 0.704（0.669〜0.737） | – |
| ページの位置だけ | 基準 | 0.131（0.068〜0.190） | 0.328 |
| 語の一致（BM25） | 基準 | 0.131（0.063〜0.203） | – |
| 既製のリランカー5種 | 訓練なし | 0.341〜0.452 | 0.423〜0.495 |
| 商用判定モデル | 訓練なし・5ページまとめて | 0.575（0.523〜0.623） | 0.563 |
| 公開の27B判定モデル2種 | 同上 | 0.578／0.575 | 0.566／0.580 |
| 公開の9B判定モデル | 同上 | 0.516（0.463〜0.565） | 0.475 |
| 蒸留4B（公開版） | 1ページずつ | 0.542（0.491〜0.591） | 0.567 |
| 蒸留4B（3つの乱数シード） | 1ページずつ | 0.542〜0.549 | 0.563〜0.567 |
| 蒸留0.6B | 1ページずつ | 0.457（0.402〜0.512） | 0.474 |
| 蒸留8B（乱数シード42／1337） | 1ページずつ | 0.533／0.559 | 0.549／0.577 |
乱数シードは、訓練の最初に使う乱数の値です。値を変えて3回訓練しても結果が大きくぶれないかを見ています。
- 同じ質問に2つ以上のAIが答えた1,141組で、他のAIの取り分と照らした一致は0.704でした。同じ会社のAIを平均から除くと0.689（0.652〜0.723）です
- 商用判定モデルはこれより0.126低く（0.083〜0.175）、蒸留4Bは0.159低い（0.116〜0.201）ところにいます
- 論文は、この一致を採点器の上限とは扱わず、参考値として扱っています。採点器が見られない「他のAIの答え」を使った数字だからです
- 1番目のページの平均の取り分は0.234、5番目は0.164でした。位置だけで並べると0.131で、語の一致と同じです
- 採点器の順位に位置の情報を足しても、蒸留4Bは+0.011（-0.002〜+0.025）、商用判定モデルは-0.013（-0.023〜-0.005）しか動きませんでした。論文は、AI同士の一致との差は位置では説明できないと読んでいます
5ページをまとめて比べる判定モデルが、いちばん近づいた
- 公開の27B判定モデル2種は、訓練なしで0.578と0.575でした。商用判定モデル（0.575）との差は+0.003（-0.034〜+0.036）と0.000（-0.028〜+0.031）です
- モデルが小さくなるほど下がります。公開の9Bが0.516、公開の4B判定モデル4種が（それぞれ良いほうの聞き方で）0.44〜0.50、0.4Bの小型モデルが0.214でした
- 既製のリランカーは0.341〜0.452で、8Bは4Bを上回っていません（差 -0.004、-0.043〜+0.035）
判定モデルに5ページをまとめて見せる場合と、1ページずつ見せる場合を比べたのが次の表です。
| 判定モデル（訓練なし） | 5ページまとめて | 1ページずつ | 差（まとめて-1ページずつ） |
|---|---|---|---|
| 商用判定モデル | 0.575 | 0.529 | +0.046（+0.009〜+0.087） |
| 公開の27B（1つ目） | 0.578 | 0.540 | +0.038（+0.004〜+0.071） |
| 公開の27B（2つ目） | 0.575 | 0.559 | +0.015（-0.013〜+0.047） |
| 公開の9B | 0.516 | 0.468 | +0.047（-0.003〜+0.099） |
| 蒸留4B（参考） | – | 0.542 | – |
商用判定モデルと公開の27B（1つ目）では、区間が0をまたがず、まとめて比べるほうが高く出ました（差は小さめです）。2つ目の27Bと9Bでは、差が0の範囲に入っています。
蒸留した4Bモデルは、27Bの判定モデルと区別できなかった
- 訓練していない同じリランカー（0.452）に比べて、蒸留で0.090上がりました（0.059〜0.121）
- 蒸留4Bと、商用判定モデル（差 -0.033）、公開の27B（2種、-0.037と-0.033）、公開の9B（+0.026）の差は、すべて区間が0をまたぎました
- ただし、同等の検定は成立しませんでした。許容幅0.05で調べると、3シード平均に対する商用判定モデルの優位の90%区間は -0.002〜+0.060です
- 1位の的中は、蒸留4Bが0.567、商用判定モデルが0.563、公開の27B2種が0.566と0.580で、訓練なしのリランカーは0.476でした
- 判定モデルを1ページずつ聞く方式にそろえると、蒸留4Bとの差は商用判定モデルで+0.012（-0.026〜+0.056）、公開の27B（1つ目）で+0.001に縮みます。差の大半は、まとめて比べるかどうかで説明できると読めます
- AIごとの平均では、蒸留4Bが最低0.446（Llama 3.3 70B）から最高0.607（Gemma 31B）、商用判定モデルが0.461から0.650でした。AIごとに等しい重みで平均すると、蒸留4Bは0.534、商用判定モデルは0.572です
点数を動かしたもの：教師、訓練量、大きさ
| 生徒 | 教師ラベル | 訓練の質問数 | 点数 |
|---|---|---|---|
| 0.6B | 商用判定モデル＋採点基準を渡したAI | 757 | 0.457 |
| 0.6B | 商用判定モデルのみ | 757 | 0.467 |
| 0.6B | 採点基準を渡したAIのみ | 757 | 0.444 |
| 0.6B | 2つの教師 | 189 | 0.427 |
| 4B | 2つの教師 | 757 | 0.542 |
| 4B | 2つの教師 | 189 | 0.537 |
| 4B | 実際の引用（5分割の交差検証） | 183〜184 | 0.541 |
| 4B | 教師で訓練後、実際の引用で追加訓練 | 757＋183〜184 | 0.562 |
- 教師の違いは、0.6Bでは0の範囲に収まりました。商用判定モデルのみの教師で0.467、2つの平均で0.457です
- 訓練の質問を4分の1にしても、4Bは0.005しか下がりませんでした。0.6Bでは0.030の低下で、区間は-0.001〜+0.060です
- 実際の引用で訓練した4B（0.541）は、同じ質問数の教師ラベルで訓練したものと区別できません（差 -0.004）。追加訓練での上積みは0.020（-0.010〜+0.051）でした
- 4Bは0.6Bより0.085高い一方で、8Bは4Bを上回りませんでした。8Bは乱数シードによる差も0.026ありました
論文自身が書いている限界
- 統制された検索：AIは固定の5ページを受け取ります。測っているのは、渡されたページのどれを引用するかです。検索がページを拾う段階は、測定の外にあります。実際に検索するAIへ移せるかは、ライブ検索の回答を集めないと分からないと書いています
- 教師と入力：教師は商用判定モデルと、採点基準を1つ渡したAIの組み合わせです。商用判定モデルは提供側が版を管理するため、重みが固定の公開27Bを教師に使えると述べています。判定モデルは250語、AIと生徒は320語を見ていますが、これは判定モデルに不利に働くだけだとしています
- 測定の範囲：英語で、元のデータは1つ、候補は5ページ、10のAIのうち4つは同じ会社のものです。判定モデルへの質問文は、一度書いた1種類のまま使っています。AIは変わり、ラベルは2026年に集めた回答です
原文を読んで気づいた点
- 論文はプレプリントで、査読の記載は確認できませんでした。arXivのコメント欄は12ページとありますが、私が取得したPDFは11ページでした
- 日本や日本語への言及は、原文にありませんでした。質問もページも英語です
- ラベルは、回答の引用を機械的に数えた値です。この論文には人手による確認の記載がなく、引用の手順は先行研究に書かれているとあります
- 実験環境は、温度0・モデルの版を固定し、5ページを決まった順で渡した状態です。実サービスの検索や、画面ごとの違いは、測定の外にあります
- 「区別できない」は「同じ」とは別の話です。蒸留4Bの点は、商用判定モデルや27Bより0.033〜0.037低く、AIごとの平均では約0.04（0.572-0.534、概算）の差です
- 1位の的中は0.567です。裏返せば、約43%（1-0.567、概算）は外れています
- 判定モデルへの質問文は「質問との直接の関連が最優先、次に引用できる事実・統計・引用のしやすさ・権威らしさ・単独で読めること。長さは評価しない」という趣旨です。著者らの仮説が入っており、別の文面は試されていません
- 費用の書き方に揺れがあります。結論は「数セント」ですが、本文では商用判定モデルのラベル付けが0.10米ドルです。採点基準を渡したAIの費用は見当たりませんでした
この論文から、言えること・言えないこと
| 言えること（論文が示した範囲） | 言えないこと |
|---|---|
| 同じ5ページを渡した条件では、AI同士の順位がかなり似る（0.704） | 検索つきの実サービスでも同じように似る |
| 5ページをまとめて比べる判定モデルは、既製のリランカーより、AIの引用順位に近い | 日本語のページや、日本の検索でも同じ |
| 蒸留した4Bモデルは、27Bの判定モデルと統計的に区別できなかった | 4Bが27Bと同等、またはそれ以上である |
| 位置の情報を足しても、AI同士の一致との差は縮まらなかった | 引用の順位が、位置と関連だけで決まる |
| 引用の取り分は、ある程度予測できる | 点数が高いページに書き換えると、引用が増える（書き換えの実験はない） |
中小企業の視点で、どう受け取るか
ここからは論文の主張とは別の、私の読み取りです。
- 「引用されやすさの点数」には、答え合わせの条件を聞く。この論文は、何を正解にし、候補が何ページで、検索があるかを書いたうえで点数を出しています。この3点が示されない点数は、参考値と見るのが無難です
- 予測できることと、変えられることは別。論文が測ったのは予測の当たり具合だけです。ページを書き換えて引用が増えるかは、別の実験の話になります
- 自社ページは、同じ質問に出る他のページと並べて見る。5ページをまとめて比べる方式のほうが当たりやすい傾向は、引用が他のページとの相対で決まる見方と合います。ただし、これは予測の道具の話で、ページの作り方の実験ではありません
- 検索で拾われる段階は、この論文の外にある。ページがすでに候補に入っていることが前提です。その前の段階は、サーベイ論文の解説で整理しています
よくある質問
「Predicting What Answer Engines Cite」の採点器は、AIに実際に質問して測る代わりに使えますか
代わりにするのは早計です。論文自身が、検索するAIへ移せるかは確かめていないと書いています。
使うなら、実測の前の絞り込みにとどめるのが無難です。
蒸留した4Bモデル（GEO Citation Ranker 4B）は、27Bの判定モデルと同じ性能だと言えますか
断定は早計です。差が統計的に区別できなかっただけで、同等の検定は不成立でした。
点の推定は、27Bのモデルより0.033〜0.037低くなっています。
AIどうしの引用の一致が0.704だったという結果は、どのAIも似た引用をするという意味ですか
この数字が示す範囲は限られます。同じ5ページを同じ順で渡したときの、5ページの中の順位の一致だからです。
検索で候補が変わる実サービスでは、サービス間で出典がほとんど重ならないという監査も報告されています（サーベイ論文の解説）。
まとめ：今日できる1つのこと
いま使っている、または提案されている「引用されやすさの点数」の道具について、何を正解にして、どんな条件で当たり具合を測ったのかを、1行で書き出してください。
この論文のように、正解（AIの実際の引用）、条件（候補ページの数、検索の有無）、当たり具合（順位の一致）が示されていなければ、その点数は参考値にとどまります。
この論文は、LLMO論文の一覧の一本です。ほかの論文の解説も、順次公開しています。
この記事に書いたことを、そのまま御社のページに
生成AIに引用されるページを、お話しいただくだけでお作りします。お時間をいただくのは初回15分のヒアリングだけです。まず1ページ、無料でお作りします。
OKが出るまで、何度でも直します。事実が違う、言い回しが硬い、この話は入れないでほしい。どれも遠慮なくおっしゃってください。何度お直ししても、追加の料金はいただきません。
これまでに127社にご利用いただきました。毎月ご依頼いただいている方の6割以上が、月10ページを選ばれています。料金はページに掲載しています。
ページを増やしても問い合わせが来ないなら、原因はページの外にあります。その場合は、下の入口からご相談ください。
自社のマーケティング課題を根本から解決しませんか？
ウェブサイトから要素を引き算し、訪れた人が迷わず次の一歩に進む形へ組み直す。初回60分のオンラインで御社のサイトを一緒に読み、どこから直すべきかをお伝えします。手順をまとめた無料の診断と解説動画もご用意しています。
初回は無料・60分・オンライン完結・その場で契約のお願いはいたしません
