【LLMO論文解説】AIの回答1つが従来の検索何回分かを数える指標ARSD｜実際に検索して測ったのは作成した6課題の試験段階（プレプリント）

AIに質問すると、1つの回答の中に、選ぶ基準、候補の比較、注意点までまとめて返ってきます。従来の検索なら、言葉を変えて何度も調べ、ページを開いて見比べていた作業です。

2026年7月にarXivで公開された論文は、この「まとめられた検索の作業」を数える指標を提案しました。完成した回答1つが、従来の検索の最低何回分にあたるか、という問いです。

この記事は、その論文を原文8ページ（文献リストを含む）を通読し、数値を原文の表と本文から拾って整理します。実測の中身は小さく、2つの段階に分かれているので、どこまで言えるのかも分けて書きます。

合同会社謙虚は、3つのドメインを並行して運用し、何を変えると数字が動くかを測り続けています。検索の回数やキーワードの数字だけでは、AIの回答の中で語られる内容を測り切れないのではないかという前提を、原文で確かめるために、この論文を読みました。

結論：3行で言うと

• 論文が定めた「回答再構成の検索密度（ARSD）」は、回答を構成する情報の単位の目標割合（例：80%）を、従来の検索で裏づけるのに必要な、異なる検索の最小回数です。どの検索サービスを、いつ、どう使うかという取り決め（方針）を固定したうえでの、相対的な数字です
• 実際のウェブ検索でこの指標を測ったのは、作り物の課題6件だけです。中央値は検索1.5回、必要なページ数は2ページでした。183件の会話を使った大きな分析は、検索ではなく回答内の言葉の重なりで数えた別の診断で、論文自身が「検索の回数と読んではいけない」と述べています
• 往復の多い会話は高く見えますが、回答に含まれる情報の単位の数で調整すると差は小さくなりました。論文は、会話の長さそのものが効いたとは言えないと結論づけています

単著のプレプリントで、指標を定義し、測る手順が動くことを示した段階の論文です。

AIの回答が検索何回分かを言い切れる規模の実測は、含まれていません。

この論文の基本情報

項目	内容
題名（原題）	Answer-Reconstruction Search Density: Measuring the Query and Source Work Compressed by Conversational Answers
著者	ベンジャミン・タネンバウム（1人）。所属はイスラエル・テルアビブの企業
公開日	2026年7月21日（arXiv初版）
arXiv番号	2607.18904（分類は情報検索）
掲載・採択状況	arXivのプレプリント。arXivのコメント欄と掲載誌の欄に学会・論文誌の記載がなく、査読前と判断しました
種類	新しい指標の定義と、その測り方の検証（8ページ）
データとコード	会話の原データは非公開。分析のコード、件ごとの集計、作り物の課題、裏づけの判定結果とそのURLを公開した、と本文にあります。ただし公開先のURLは書かれておらず、arXivの投稿ファイルは原稿と文献リストだけでした
利益相反の申告	本文に記載なし

論文はこちらで読めます。arXiv（2607.18904）、DOI（10.48550/arXiv.2607.18904）。

同じ著者の論文は、当社でも2本解説しています。会話の前のやり取りを外すと答えがどれだけ変わるかを測った論文と、4つのAI検索の引用URLの重なりを測った論文です。

この論文が答えた問い

AIの1つの回答がまとめている検索の作業は、従来の検索の何回分、何ページ分と数えられるのか。

論文は、既存の指標が測るものを、順位、利用者の労力、事実の裏づけの3つに分けています。

完成した回答が最低どれだけの検索作業を圧縮しているかは、どの指標も測っていない、というのが出発点です。

回答の長さや質問の回数は、代わりになりません。長い回答が同じことを繰り返しているだけの場合もあれば、1回のやり取りで複数の観点が片づく場合もあるからです。

どうやって調べたのか

指標の定義：回答を「裏づけられる単位」に分けて数える

論文は、まず回答を、ウェブで外から確かめられる最小の情報の単位（原子的な情報単位）に分けます。あいさつや言い回しだけの部分は除きます。

次に、「再構成の方針」を固定します。検索の候補の作り方、検索サービスと地域と日付、結果を見る深さ、検索の回数の上限と止めどころ、ページが単位を裏づけるとみなす規則です。

そのうえで、検索1回ごとに「その結果が、どの単位を直接裏づけるか」を判定し、目標の割合に達するまでに必要な検索の最小回数を求めます。これがARSDです。

同じ計算をページ数で行ったものが、ページ密度（PD）です。

目標の割合まで届かない場合は、上限の回数を代入せず、「打ち切り」として扱います。

ここからは、論文の数値ではなく、仕組みを分かりやすくするための説明用の例です。

回答に10個の単位があり、目標が80%なら、8個を裏づければ達成です。検索Aが5個、検索Bが3個を裏づけるなら、ARSDは2です。

1つの総合的なページが8個すべてを裏づけるなら、PDは1ページです。逆に、検索1回で足りても、複数のページに分かれているなら、PDは大きくなります。

論文は、この違いを「検索の圧縮」と「情報源の圧縮」の区別として示しています。

2つの段階の分析

項目	段階1：構造の診断（大きいが検索なし）	段階2：公開の試験（小さいが実際に検索）
対象	人とAIの会話。非公開で、同意に基づくと説明されている集まり。1,180行から重複を除いて808件、英語と分類されたもの401件、情報を探す会話183件	この研究のために作った公開の課題。18課題から、購入・安全・公的確認・組織選び・個人の決断にまたがる6課題を選んだ
単位	183件から1,994単位（1会話の上限は16単位）	1課題あたり5単位、合計30単位。事前に定めたもの
測り方	ある単位を代表にして、それと言葉の重なり（TF-IDFのコサイン類似度）が0.15以上の単位をまとめて覆えるとみなし、80%を覆う代表の最小数（FSD）を厳密に計算	1課題に検索6本（広い質問1本と、単位ごとの質問5本）。2026年7月20日に実行し、1人の確認者がページを開いて「直接裏づけるか」を2値で判定
出てくる数字	観点の数（検索の回数ではない）	検索の回数（ARSD）とページ数（PD）

論文は、段階1の数字を「観測された検索の回数でも、ARSDの下限でもない」と明記しています。1回の検索で言葉の違う情報が出てくることもあれば、意味が同じでも言葉が違う単位が別の観点に数えられることもあるからです。

段階2では、検索の質問は、回答の単位を知ったうえで作られています。

また、自動で行う予備の試験は、複数の技術用語を組み合わせた質問で、一般的な単語の別の意味のページが繰り返し返り、採点の前に取り下げられました。この失敗の記録は保存されていると書かれており、結果の数字からは外されています。

結果

段階1：183件の会話の「観点の数」

項目	値（主な方針：類似度0.15、目標80%）
1会話の単位の数	中央値11（四分位範囲7〜16）。上限の16を超えて切られた会話は63件（34.4%）
80%を覆うのに必要な観点の数（FSD）	中央値3（四分位範囲2〜4）、平均3.28（95%区間2.99〜3.59）
観点が1つで足りる会話	32件
観点が5つ以上必要な会話	34件。7つ以上が14件、最大12
選んだ観点1つあたりの単位の数	中央値3.25（四分位範囲2.00〜4.33）

読み取れることは、次のとおりです。

• 中央値の会話では、11個の単位が、言葉の上で3つの観点にまとまりました
• 回答の語数との順位相関は0.40、保持した単位の数とは0.44でした（スピアマンの順位相関。1が完全な一致）。回答が長いほど観点が多い傾向はありますが、長さだけでは決まりません
• 商用の行動を目的とした17件の平均は3.53、情報収集の166件は3.25で、差は0.28観点です。95%区間は-0.69〜1.47と広く、論文は、課題の種類による違いはこの標本からは言えないと述べています

方針を変えると、数字はどう動くか

観点とみなす類似度	目標50%	目標80%	目標100%
0.10	1	2	3
0.15（主な方針）	1	3	4
0.20	2	4	5
0.25	2	5	6

表の数字は、183件の観点の数の中央値です。目標80%で見ると、類似度を0.10から0.25に動かすだけで、中央値は2から5になります。

論文は、この大きさが「方針と切り離せない」ことを結果として挙げています。一方で、会話どうしの並び順は安定していました。

隣り合う類似度の順位相関は0.85、0.93、0.93です。

1会話の単位の上限を8、12、16と変えても、中央値は3のまま、四分位範囲も2〜4のままでした。平均は3.09から3.28の範囲です。

往復の多い会話は、本当に高いのか

1往復の会話97件と、複数往復の会話86件を比べると、次のようになりました。

• 平均の観点の数は、複数往復が3.76、1往復が2.86で、差は0.90（95%区間0.32〜1.50）。どちらも中央値は3です
• 観点が5つ以上ある会話の割合は、複数往復が24.4%、1往復が11.3%で、差は13.1ポイント（95%区間2.0〜24.2）です
• ただし、上限で切る前の単位数の中央値も、複数往復が18、1往復が8と、2倍以上でした
• 保持した単位の数で調整すると、差は0.22（95%区間-0.35〜0.78）に縮みました。回数のモデル（ポアソン回帰）でも、比は1.32（1.09〜1.56）から1.06（0.89〜1.25）に下がりました

論文は、会話の往復が長いと回答の量が増え、増えた分だけ観点が増える、という関係を読み取っています。複数往復の形そのものが観点を増やす、とまでは言えないという結論です。

段階2：公開の6課題での、検索の回数とページ数

課題（作り物）	分野	最初の広い検索で裏づけられた単位の割合	検索の回数（ARSD、目標80%）	ページ数（PD、目標80%）
IH調理器	購入	60%	2	3
ヒートポンプ	購入	80%	1	2
ランサムウェアへの備え	安全	100%	1	1
選挙に関する主張の確認	公的確認	60%	2	3
顧客管理の仕組みの選定	組織	80%	1	1
学び直しと転職	個人の決断	60%	2	2

1課題は5単位なので、80%は4単位にあたります。6課題はすべて、用意した6本の検索の範囲で目標に届きました。

• 検索の回数の中央値は1.5（四分位範囲1〜2）、ページ数の中央値は2（同1〜3）です
• 最初の広い検索だけで裏づけられた単位は、中央値で70%でした
• 検索1回で足りたのは3課題です。そのうち、ページも1つで足りたのは2課題で、ヒートポンプの課題は検索1回でもページが2つ必要でした
• 6本すべてを使うと、中央値で100%まで裏づけられました。学び直しの課題だけは、ちょうど80%です

論文は、この結果を、検索の圧縮と情報源の圧縮は別の量だという実例として挙げています。また、段階1の観点の数と、段階2の検索の回数は、互換のある数字ではないとも述べています。

論文自身が書いている限界

論文は、次の限界を挙げています。

• 会話の集まりは、商業的に関係のあるものとして選ばれた偏りのあるものです。会話型AIの使われ方の全体像とは言えません。英語の情報収集に当てはまる会話は183件で、言語が不明の記録が351件ありました。商用の行動目的の会話は17件です
• 単位の取り出しは、決まった手順による自動処理で、別の人による二重の確認は行われていません。1つの文に複数の主張が入ることもあり、言い換えの重複除去で別の細部が統合されることもあります。上限の16単位は34.4%の会話に効き、長い回答のほうの数字は低めに出ます
• 段階1は言葉の重なりでの診断です。意味の妥当性は示しておらず、「検索3回」と報告してはならないと明記しています
• 往復の多さの分析は観察であり、因果の経路は特定できません。調整は関係をはっきりさせるにとどまります
• 公開の試験は、作り物の6課題と確認者1人です。確認者どうしの一致度も、全体の規模の推定も、非公開データでの妥当性も示せません。質問が回答の単位を知ったうえで作られているため、最小の回数は、何も知らない人が調べる労力より小さく出ます。検索結果は日や地域や提供元で変わります
• 非公開データでの検索の再現は、実行環境がデータ由来の文字列の外部送信を禁じていたため、できませんでした。準備した72件・803の検索候補は、手元にとどめられました。このため、非公開データでの検索の数値は報告されていません
• 検索密度は、正しさ、読む時間、負担、クリック、学習、意思決定の質、説得力、経済的な価値を測りません

原文を読んで気づいた点

• 要旨の数字は、ARSDではなく、言葉の重なりで数えた別の量です。183件・中央値3は段階1のもので、実際に検索したのは段階2の6課題だけです。この区別を落とすと、「AIの回答は検索3回分」のような読み違いが起きます
• 公開の6課題は、AIの実際の回答から取った単位ではないように読めます。課題ごとに回答の単位を事前に定めた、と書かれており、実在のAIサービスの回答から取り出したという記載は見当たりませんでした。ここは私が読み取った範囲の確認です
• 各課題の候補の検索は6本で、単位は5つ、目標は4単位です。取りうる値の幅が、設計上、もともと小さい点には注意が必要です
• 段階1の会話を、どの会話型AIが作ったのかは、原文に記載が見当たりませんでした。会話を集めた主体と、収集の取り決めの内容も書かれていません
• 日本や日本語への言及は、原文にありませんでした。段階1は英語と分類された会話だけです
• 採点の仕組みは2つで、段階1は自動、段階2は1人の人手でした。査読前の単著で、掲載誌の欄にも記載がなく、利益相反の申告は本文にありません

この論文から、言えること・言えないこと

言えること（論文が示した範囲）	言えないこと
回答の裏づけに必要な検索の最小回数を、方針を固定して厳密に計算できる	AIの回答が、現実に検索何回分にあたるか
検索1回で足りる場合でも、情報源のページは複数に分かれることがある（公開の6課題のうち、ヒートポンプで確認）	どの分野や質問でも、同じ程度に分かれる
183件の会話では、中央値で11の単位が3つの言葉の観点にまとまった	その数字が、検索の回数や、利用者の労力に等しい
往復の多い会話で観点が多く見えるのは、主に回答の量が多いため	会話の形そのものが、情報の幅を広げる
方針（類似度、目標の割合）を変えると、中央値は2から5まで動く	どの方針でも同じ数字になる
この指標は、正しさや説得力とは別の量である	密度が高い回答のほうが、利用者に有益、または正しい

中小企業の視点で、どう受け取るか

ここからは論文の主張とは別の、私の読み取りです。

• キーワード1つの検索結果だけで、AIの回答を想像しない。論文も、短いキーワード1つの評価では、回答の中の情報源どうしの競争を見落としうると述べています。AIの回答は複数の観点を含むため、観点ごとに自社が答えているかを見るほうが、実態に近づくはずです
• 1ページで何でも答えるより、観点ごとに答えが取り出せるページを用意する。情報源が複数ページに分かれる場合があるという実例が、ヒートポンプの課題です。自社のページが全部ではなく一部の観点の裏づけとして使われるなら、その観点を取りこぼさないことが大切です。これは論文が実務を検証したものではなく、私の見立てです
• 「AIの回答は検索何回分」と、数字だけを営業の言葉に使わない。この論文が示したのは測り方の骨組みで、規模の実測は今後の課題です。説明に使うなら、方針つきの数字だと伝える必要があります
• AIでの見え方を測るときは、回答の中身を観点に分けて記録する。1回ごとの順位や出る出ないだけでなく、どの観点で自社の情報が使われたかを残すと、次の改善が決めやすくなります

よくある質問

回答再構成の検索密度（ARSD）は、AIの回答が正しいかどうかを測る指標ですか

測りません。論文は、検索密度が正しさ、情報源の質、回答の長さ、満足度、説得力とは別の量だと明記しています。

短くて間違っている回答が、簡単に見つかることもあります。これらは別に測る必要がある、というのが論文の立場です。

回答再構成の検索密度（ARSD）の論文に出てくる「中央値3」は、検索3回という意味ですか

いいえ。中央値3は、183件の会話について、言葉の重なりで数えた観点の数です。

実際のウェブ検索の回数ではありません。

実際に検索して測ったのは、作り物の6課題で、検索の回数の中央値は1.5でした。論文は、前者を後者として報告してはならないと注意しています。

ページ密度（PD）は、検索の回数を測るARSDと何が違いますか

ARSDは「必要な検索の回数」、ページ密度は「必要な情報源のページの数」を数えます。

1回の広い検索で複数のページが見つかることもあれば、1つの権威あるページが複数の検索で見つかることもあるため、2つの数字は一致しません。公開の試験では、検索1回で足りた課題のうち、ページも1つで足りたのは2課題でした。

まとめ：今日できる1つのこと

自社にとって大事な質問を1つ選び、AIの回答を、選ぶ基準・候補・注意点などの観点ごとに分けて表にしてください。そして、自社のページがどの観点に答えているかに印をつけます。

1回の結果だけで判断せず、日を変えて、複数のサービスで同じ表を作ると、取りこぼしている観点が見えてきます。

この論文は、LLMO論文の一覧の一本です。ほかの論文の解説も、順次公開しています。

ページを増やしても問い合わせが来ないなら、原因はページの外にあります。その場合は、下の入口からご相談ください。