【LLMO論文解説】AIが引用するWebページの質を8つの指標で採点｜12サービスの引用3,996件を比べた基準（プレプリント）

AIが回答に付ける引用リンクは、どんなページなのでしょうか。「SourceBench: Can AI Answers Reference Quality Web Sources?」は、2026年2月のプレプリントです。

AIが引用したWebページそのものの質を、8つの指標で採点する仕組みを提案しています。

この記事は、その論文を原文から読み、8つの指標の定義と、12のAI・検索サービスの採点結果を整理します。数値は論文の表の値で、私の計算には「概算」と添えました。

合同会社謙虚は、3つのドメインを並行して運用し、何を変えると数字が動くかを測り続けています。この論文は、自社ページを点検する「物差し」の候補を、定義つきで示しています。

結論：3行で言うと

• 引用されたページの質を、内容の3指標（関連性・正確さ・中立性）とページ側の5指標（鮮度・運営者・著者・ドメイン・レイアウト）の計8つ、各1〜5点で採点する枠組みです
• 12のサービスの引用3,996件を採点した結果、総合点（100点換算）はGPT-5が89.081で最高、最低のTavilyが78.268でした。2位のGrok-4.1-Fastは83.381です
• 採点したのは「引用されたあとのページの質」です。どの質が引用の選ばれやすさを生むのかは、この論文の範囲の外にあります

この論文の基本情報

項目	内容
原題	SourceBench: Can AI Answers Reference Quality Web Sources?
著者	Hexi Jin、Stephen Liu、Yuheng Li、Simran Malik、Yiying Zhang（5名。所属はカリフォルニア大学サンディエゴ校と、著者の所属企業）
公開日	2026年2月18日（arXivに投稿。版はv1のみ）
arXiv番号	2602.16942（分野はcs.AI）
掲載・採択状況	arXivのプレプリント。論文の表紙に「Preprint. February 20, 2026」とあり、arXivのコメント欄と掲載誌の欄は空でした。査読を経た掲載の記載は見当たりません
種類	評価基準（ベンチマーク）と採点器の提案、12サービスの比較実験
データ・コード	論文は「採択後に公開する」と述べています。公開先は確認できませんでした

論文はarXiv（2602.16942）とDOI（10.48550/arXiv.2602.16942）で読めます。

この論文が答えた問い

AIが回答に付ける引用元のWebページは、どれだけ質が高いのか。それを、どんな物差しで測ればよいのか。

論文は、既存の評価が「回答の文章」や、取得文書と質問の関連度に集中し、引用元のページそのものを体系的に評価する基準が見当たらない、と指摘します。

そこで著者たちは、人が引用元をたどって確かめる場面を想定し、「利用者の目で見たページの質」を8つの指標にしました。内容が正しくても広告だらけで日付も分からないページは、確認する人の負担が大きいと論文は述べています。

どうやって調べたのか

項目	内容
質問	100問。買い物、多段の調べもの（多段推論）、事実確認、賛否の分かれる話題、質問共有サイトの質問が各20問。既存の5つの質問集から無作為に抽出
比較したサービス	12個。AI（GPT-5、GPT-4o、Gemini-3-Pro、Gemini-3-Flash、Gemini-2.5-Flash、Grok-4.1-Fast、Claude-Sonnet-4.5、Perplexity-Sonar-Pro）、Google検索、AI検索ツール3つ（Exa、Tavily、著者の所属企業が提供するもの）
集めた引用	3,996件。AIは最終回答に出したURLのみ（調査の途中で見ただけのURLは除外）。Googleは上位5件
採点の方法	各ページの本文を取得し、LLM（Qwen-Plus）が8指標を1〜5点で採点。本文3.3.3節は、内容3指標とページ側5指標の2回に分けたと書く（付録Bの説明では3回）
採点器の確かめ方	45ページを大学院生2人が手で採点し、その平均との誤差を測定
総合点	内容の3指標に1.5倍の重みをつけた加重平均を、最大100点に換算

序論は採点器を「ファインチューニング（追加学習）」と説明しますが、3.3.3節は少数例プロンプトの方式と書いています。

8つの指標の定義（原文の表2）

ここが、自社のページの点検に使える部分です。定義は原文の表2をそのまま訳しました。

指標（略称）	見ている点	5点（最良）	1点（最悪）
内容の関連性（CR）	内容の関連性と問題の解決	包括的で、利用者の必要に直接応える。追加の検索が要らない	無関係、または質問と食い違う
事実の正確さ（FA）	事実の正確さと検証可能性	主張が検証でき、引用に裏づけられている。一次情報を優先	誤りや有害な主張を含む。事実に反する検証不能な断定
中立性（NE）	中立性と客観性	中立で淡々とした伝え方。感情への訴えを避け、単一の主張を押しつけない	判断をゆがめる、宣伝的・操作的な口調
鮮度（FR）	鮮度と保守	時宜にかない、日付や更新が直近。または質問の時間的な文脈に沿う	古く、時間に左右される情報が誤りや誤解のもとになる
著者の責任（AA）	著者の責任と専門性	実名の著者。検証できる経歴や資格、責任の所在を示すリンクがある	身元の偽装や欠落（架空の人物、信頼できる著者情報がない）
運営者の責任（OA）	所有者・運営の責任	所有者と資金が透明で、組織としての責任が明確	所有者が隠されている。連絡先・組織情報がない。ダミー会社や隠蔽の兆候
ドメインの権威（DA）	ドメインの権威と制度的な評判	評判が確立し、長く信頼されてきた高権威のドメイン	詐欺・偽情報で知られる、または一貫して信頼性が低い
レイアウトの明瞭さ（LC）	レイアウトの明瞭さと健全性	読みやすく、妨げが最小。広告が本文の閲覧を邪魔しない	広告密度が高い。「ゴーストテキスト」や寄せ集めの断片の混入。読むのを妨げる重なり表示

論文は、CR・FA・NEを「内容の質」、FR・AA・OA・DA・LCを「メタ属性（ページ側の信号）」と分けています。後者は、ページ本文ではなく周辺情報から判定するとしています。

付録の採点基準：1点から5点までの段階

付録Aの表10には、ページ側の指標の段階が、もう少し細かく書かれています。こちらも訳して並べます。

指標	5点	4点	3点	2点	1点
鮮度（FR）	直近6〜12か月の日付	1〜2年前だが有効	日付のない「普遍的」な内容	明らかに陳腐化（古い法律、販売終了の商品）	10年超で、時間のせいで誤りになっている
著者（AA）	実名で、検証できる経歴・資格のリンクがある	実名（編集部員など）、または名の通った団体	「Admin」「Team」名義	あるはずの場所に著者表示がない	架空の人物、AI生成の顔
運営者（OA）	住所・電話・経営陣や資金を開示	「会社概要」の説明と経営陣の名前はあるが、所在地などの連絡先が足りない	問い合わせフォームのみ。曖昧な会社概要	会社概要も所有者情報もない	ダミー会社の兆候。所有者を隠す動き
ドメイン（DA）	政府・教育機関、大手報道、確立したブランド（10年超）	確立した商業ブランド、または専門分野の専門家	機能している個人ブログ・小規模事業者。評判の履歴がない	コンテンツファーム、検索対策だけの寄生サイト	詐欺・フィッシング・偽情報で知られる
レイアウト（LC）	目立つ広告なし。ざっと読みやすい	本文を遮らないバナーやサイドバー	自動再生の動画、固定フッター、強い収益化	閉じる操作が必要なポップアップ。記事風の広告リンク集	重なり表示、壊れたレイアウト、悪意ある転送

結果

12サービスの総合順位と8指標

原文の表4です。値は各100問での平均点（8指標は5点満点、総合は100点換算）。

順位は総合点の順です。

順位	サービス	総合	CR	FA	NE	FR	OA	AA	DA	LC
1	GPT-5	89.081	3.923	4.772	4.547	4.490	4.793	4.433	4.736	4.016
2	Grok-4.1-Fast	83.381	4.328	4.508	3.961	4.180	4.315	3.993	4.334	3.633
3	著者の所属企業の検索ツール	81.795	4.435	4.432	3.895	4.343	3.970	3.970	4.102	3.343
4	GPT-4o	81.518	4.241	4.207	3.925	4.524	3.963	4.150	4.180	3.344
5	Claude-Sonnet-4.5	81.282	4.209	4.217	3.818	4.447	4.178	4.202	4.079	3.336
6	Exa	80.108	3.649	4.120	4.024	4.346	4.125	4.306	4.240	3.391
7	Google検索（上位5件）	79.939	3.948	4.222	3.776	4.059	3.879	4.133	4.232	3.749
8	Gemini-3-Pro	79.379	3.633	4.133	3.851	4.743	4.141	3.891	3.993	3.502
9	Gemini-3-Flash	78.981	3.633	4.100	3.925	4.459	4.097	4.057	3.962	3.416
10	Perplexity-Sonar-Pro	78.547	3.691	4.075	3.619	4.358	3.806	4.220	4.183	3.643
11	Gemini-2.5-Flash	78.339	3.520	3.995	3.898	4.445	4.054	4.163	4.061	3.336
12	Tavily	78.268	3.545	4.066	3.801	4.448	4.043	4.033	4.156	3.332

• 論文は、GPT-5が8指標のうち6指標で1位だと述べています。表で確かめると、1位でないのは内容の関連性（最高は著者の所属企業のツールの4.435）と鮮度（最高はGemini-3-Proの4.743）です
• GPT-5と最下位の差は約10.8点（89.081 – 78.268、概算）です。2位から12位までの幅は約5.1点（概算）で、2位以下は接近しています
• Googleの上位5件は7位で、内容の関連性（3.948）はGPT-5（3.923）より高く、鮮度（4.059）は最も低い値です
• 表を横に見ると、12サービスのうち10サービスで、8指標の中で最も低いのがレイアウト（LC）でした（私の確認。GPT-5は内容の関連性、Perplexity-Sonar-Proは中立性が最低）。LCの最高はGPT-5の4.016で、ほかは3.3〜3.75の範囲です

指標どうしの関係

論文は、運営者・著者・ドメインの3つが互いに相関し、内容の3指標も互いに相関すると述べています（図1。値は図のみ）。

鮮度は、すべてのシステムで他の指標とほぼ無相関でした。

質問の型による違い

表5は質問の型ごとの総合点です。GPT-5は多段の調べもの（88.337）と質問共有サイトの質問（87.840）で、2位に約9.2点、約8.6点（いずれも概算）の差をつけています。

論文は、買い物の質問では鮮度と正確さが最高でレイアウトが最低、事実確認の質問では運営者・著者・ドメイン・正確さが最大で鮮度が最低だったと述べています。

答えの正確さと、引用元の質の関係

多段の調べもの（HotpotQA）の回答の完全一致率は、GPT-5が18.33%で最高、GPT-4oが5.00%で最低でした。

論文は、事実の正確さの点と回答の正解率に高い正の相関があり、著者の責任の点とは負の相関があったと述べます（図2。値は図のみ）。

AIはGoogleの結果をまとめ直しているだけか

表8は、各システムの引用のうち、Googleの検索結果にも出てきた割合です。GPT-5が15.99%で最も低く、Tavilyが55.45%で最も高い値でした。

論文は、良い引用元の多くが1回のキーワード検索では出てこないと読んでいます。

検索ツールと推論の、どちらが効くか

表9は、検索機能のないDeepSeek-3.2の2つのモード（通常と推論）に、検索ツールを2種類つないだ比較です。総合点は、通常モード＋著者の所属企業のツールが75.989、推論モード＋Tavilyが75.823、推論モード＋著者の所属企業のツールが74.103、通常モード＋Tavilyが70.085でした。

論文は、この結果を「質の高い検索が、推論の代わりになり、上回ることもある」と述べています。ただし1位と2位の差は約0.17点（75.989 – 75.823、概算）です。

論文自身が書いている限界

この論文には、限界を述べる独立の節がありません。

そのため、論文自身が推測だと断っている箇所を挙げます。

• Grok-4.1-Fastの関連性の高さは「論理的な議論を組み立てるよう調整されているのではないか」
• Googleの鮮度の低さは「再索引が少ないためだろう」
• 推論モードが質の高い検索ツールと組み合わせて伸びにくい理由は「検索ツール内部の思考との衝突だろう」

原文を読んで気づいた点

• 査読の有無：arXivのコメント欄と掲載誌の欄は空で、版もv1のみです。採択の記載は見当たりません
• 日本語の検証：論文は言語に触れていません。付録に例示された質問は英語で、質問の出所の質問集も英語のものと私は理解しています。日本語のページや日本のサービスでの検証は、私が確認した範囲では見当たりません
• 採点は自動で、人との照合は45ページ：引用3,996件はQwen-Plusが採点し、人が採点したのは45ページ（約1.1%、概算）です
• 採点器の誤差は、本文の説明より大きい指標があります：本文は「誤差は全指標で人の平均から0.5点以内」と書きますが、表3では内容の関連性が0.56、鮮度が0.91、運営者が0.54です。末尾の平均0.20は、8つの値の単純平均（約0.52、私の計算）と別の数字で、何の平均かは説明がありません
• レイアウトの採点は、画面ではなく抽出した文字列で行われます：付録Bのプロンプトは、「広告」の表示や断片化した文字列を手がかりにするよう指示しています
• 著者側の所属企業のツールが、比較対象に含まれています：そのツールは総合3位で、推論の実験でも「質の高い検索」の側に使われました。利益相反に関する記載は、私の確認した範囲で見当たりませんでした
• 本文と表の食い違い：論文は「GPT-5は5つの質問の型すべてで1位」と書きますが、表5の賛否の話題ではGrok-4.1-Fastが90.351で、GPT-5の90.192を上回ります。また、Perplexity-Sonar-Proについて「情報を調べる質問で3.59」「議論で4.24」と書く箇所は、表5に該当する区分がなく、尺度も表と合いません
• 推論の実験は差が小さい：表9の1位と2位は約0.17点の差で、ばらつきや有意差の検定は書かれていません。また表9の総合点（70.085〜75.989）は、同じ検索ツール単独の表4の値（78.268と81.795）より低く、理由の説明は見当たりません
• 表と本文の細部：表8の説明は「Google検索の最初の5ページ」ですが、調査方法では上位5件です。付録の表10にある「政府・教育機関は自動的に5点」の補足は、付録Bの実際のプロンプトには見当たりませんでした。採点の実行も、本文は2回、付録Bは3回（内容3指標、メタ4指標、レイアウト1指標）と書いています

この論文から、言えること・言えないこと

言えること	言えないこと
引用元の質を、内容3指標とページ側5指標の8つの物差しで定義した	8つの指標が高いページほどAIに引用されやすい、という因果
12サービスの引用3,996件の平均点に差が出た（総合78.268〜89.081）	日本語のページや日本のサービスでも同じ順位になること
検索ツールの質は、この実験条件では回答側の推論と同程度かそれ以上に総合点へ効いた	推論より検索が常に重要だという一般則（差は約0.17点、検定の記載なし）

中小企業の視点で、どう受け取るか

ここからは論文の主張とは別の、私の読み取りです。

1. 自社ページの点検表として使う

いちばんの使い道は順位ではなく定義です。付録の段階表を物差しに、自社の主要ページで次を確かめられます。

• 著者名と経歴が、ページ上で確かめられるか
• 住所・電話・代表者名など、運営者の情報が見つかるか
• 更新日が書かれ、内容が最新か
• 広告や、本文を隠す表示が、読む邪魔をしていないか

ただし、この点検でAIに引用されることまでは保証されません。論文が測ったのは、引用されたあとのページの質です。

2. 動かしやすい指標と、動かしにくい指標を分ける

ドメインの権威（DA）は長い年月で積み上がるので、短期で変えるのは難しいと私は考えます。著者の表示、運営者情報、更新日、広告の量は、今日から直せる項目です。

3. 内容の3指標は、ページ側と別に見る

関連性・正確さ・中立性は、文章そのものの作業です。質問に直接答え、主張に出典を添え、宣伝の口調を避けます。

4. 質問の型ごとに、自社で確かめる

質問の型で、有利な指標は違う可能性があります。自社の事業に近い質問で、どのページが引用されるかを実際に測るのが確かな方法です。

よくある質問

SourceBenchの8つの指標を満たすと、AIに引用されやすくなりますか

この論文からは、そうは言えません。SourceBenchは、AIがすでに引用したページの質を採点する仕組みで、引用される前の選ばれ方を調べたものではありません。

SourceBenchのGPT-5が1位という順位は、日本語や日本のサービスにも当てはまりますか

当てはまるかどうかは、この論文からは分かりません。論文は言語に触れておらず、付録の例示は英語の質問です。

日本語での検証は、私の確認した範囲では見当たりませんでした。

SourceBenchの採点は、人が行ったものですか

3,996件の採点は、LLM（Qwen-Plus）による自動採点です。人が手で採点したのは45ページで、その平均との誤差から採点器の精度を示しています。

誤差は指標によって異なり、鮮度で0.91点、内容の関連性で0.56点でした。

まとめ：今日できる1つのこと

自社でいちばん読まれているページを1つ選び、著者名と経歴、運営者情報、更新日、広告の4つを、付録の段階表に当てはめて採点してみてください。

3点以下の項目が、次に直す候補です。直した前後で、同じ質問をAIに投げて自社ページが出るかを記録しておくと、効果を後から確かめられます。

この論文は、LLMO論文の一覧の一本です。ほかの論文の解説も、順次公開しています。

ページを増やしても問い合わせが来ないなら、原因はページの外にあります。その場合は、下の入口からご相談ください。