【LLMO論文解説】AI検索と従来検索で出典はどう違うか｜6つのAI検索と55,936件の質問を比較（プレプリント）

2026年11月5日

中野輝規

AI検索は、回答の末尾や文中に「出典」のリンクを付けます。では、そのリンク先は、これまでのGoogle検索の結果と同じサイトなのでしょうか。

2025年12月に公開された論文「Source Coverage and Citation Bias in LLM-based vs. Traditional Search Engines」は、この問いを大規模なデータで調べています。

調べたのは、ChatGPT、Gemini、Perplexity、Grok、Google AI Mode、Copilotの6つのAI検索と、GoogleとBingの2つの従来検索です。55,936件の質問を入れて、出てきた出典を比べました。

この記事では、原文を読んだうえで、出典の数と偏り、サイトの人気、信頼度と安全性、選ばれやすいサイトの特徴を整理します。数値は原文の表と本文から拾っています。

合同会社謙虚は、3つのドメインを並行して運用し、何を変えると数字が動くかを測り続けています。この論文は、AI検索がどんなサイトを出典に選ぶのかを、8つの検索サービスで同じ条件で測っているので、自社の測り方を考える材料になります。

結論：3行で言うと

AI検索は1回の回答で示す出典が少なく（平均で約4件、従来検索は約10件）、それでも両方を合わせたドメインの37%は、AI検索にだけ出ていました
出典の質は、従来検索より良いとは言えませんでした。信頼度、政治的な中立性、安全性のいずれでも、AI検索の優位は示されていません
AI検索だけが引用したサイトには、人気順位が低め、外部リンクが多め、文章が読みやすいという傾向がありました。ただし、観測された相関にとどまり、原因は今後の検証待ちです

この論文の基本情報

項目	内容
題名（原題）	Source Coverage and Citation Bias in LLM-based vs. Traditional Search Engines
著者	Peixian Zhang、Qiming Ye、Zifan Peng、Kiran Garimella、Gareth Tyson（5名。所属は香港科技大学（広州）とラトガース大学）
公開日	2025年12月10日（arXivの第1版）
arXiv番号	2512.09483（分野はcs.CLとcs.CY）
掲載・採択の状況	2026年11月5日に確認した時点で、arXivのコメント欄と掲載誌の欄は空でした。採択の事実は確認できませんでした
種類	観測研究（AI検索の出力を集めて比べる。研究者は対象のページに手を加えていません）
データ・コード	本文に「データは研究用に公開する」とありますが、公開先のURLは見当たりませんでした。コードの公開は、記載が見つかりませんでした

論文はこちらで読めます。arXiv（2512.09483）、DOI（arXivが付与したもの）。

この論文が答えた問い

AI検索は、従来の検索と比べて、どんなサイトを出典に選び、その出典の質はどうなのか。

従来の検索は、順位つきのリンクの一覧を返します。AI検索は、複数の情報を要約して答え、根拠として少数のリンクを添えます。

読者がたどるのはその少数のリンクだけなので、何が選ばれるかが情報の見え方を左右します。論文は、次の3つの問いを立てました。

AI検索の出典は、従来検索の結果とどう違うか
出典の質（信頼度、政治的な偏り、安全性）は、従来検索と比べてどうか
どんな特徴のサイトが、AI検索に引用されやすいか

どうやって調べたのか

米国で話題のキーワードを2025年7月16日から8月10日まで毎日集め、そこから作った質問とあわせて、8つの検索サービスに入れました。ブラウザを自動で操作し、画面に表示された出典だけを記録しています。

項目	内容
AI検索（6つ）	ChatGPT（gpt-5.0-instant）、Gemini（2.5-flash）、Perplexity（Sonar）、Grok（3.0）、Google AI Mode、Copilot。最後の2つはバージョン非公開
従来検索（2つ）	GoogleとBingの1ページ目。広告は印を付けて区別
質問の数	55,936件。トレンドのキーワード13,112件、関連質問40,543件、議論を呼ぶ質問2,281件（内訳の合計は私の計算で、総数と一致）
集めた量	重複を除いて124,287ドメイン、1,418,733のリンク（論文の記載）
サイトの評価	人気はアクセス人気の順位表、信頼度と政治傾向は民間のニュース評価サイトの採点、安全性はセキュリティ検査サービスの判定

用語を2つだけ整理します。ドメインは、サイトの住所の部分（例：example.com）です。

ジニ係数は、偏りを表す0から1の数字で、1に近いほど少数のドメインに出典が集中していることを示します。

信頼度と政治傾向は、ニュースサイトを評価する民間サイトの採点を使っています。信頼度は-10（最も低い）から10（最も高い）、政治傾向は-10（左）から10（右）の目盛りです。

安全性は、2社以上のセキュリティ検査が「危険」と判定したドメインを、危険なドメインと数えています。

結果

出典の数と、偏り

AI検索は、1回の回答に載せる出典が少ないことが分かりました。URLの平均は4.3件（従来検索は10.3件）、ドメインの平均は3.4件（同7.3件）です。

Grokは回答の82%、Geminiは38%で、外部サイトの出典が1件もありませんでした。

ドメインの偏りを示すジニ係数は、AI検索の6つすべてが従来検索より低めでした。ただし、統計的に差があると確認されたのは一部です。

検索	ジニ係数	人気順位の平均	人気順位の中央値
Google（従来）	0.87	41,428	746
Bing（従来）	0.89	48,125	2,412
AI Mode	0.85	43,119	1,809
ChatGPT	0.85	40,442	713
Copilot	0.86	69,054	3,912
Gemini	0.77	64,121	3,805
Grok	0.76	42,847	2,507
Perplexity	0.83	48,208	1,362

人気順位は数字が小さいほど人気が高く、大きいほど人気が低いサイトです。出典はAI検索のほうが偏りが小さく、人気の低いサイトも含まれやすい、というのが論文の見立てです。

ジニ係数の差が統計的に確かめられたのは、GeminiとGrok（GoogleとBingの両方に対して）と、ChatGPT（Googleに対してのみ）です。残りの3つは、差があるとは言えませんでした
人気順位の平均が従来検索より低い（数字が大きい）のは、CopilotとGeminiが目立ちます。ChatGPTだけは、GoogleとBingの両方より人気の高いサイトを引用していました

従来検索との重なり

AI検索と従来検索の出典ドメインを合わせると、両方に出てきたものが38%、AI検索だけに出たものが37%でした。残りは従来検索だけ（私の概算で約25%、100-38-37）です。

割合の分母は、両者を合わせたドメイン全体と読めます（図4の3区分が合計100%になるため、という私の推定です）。論文の冒頭には「AI検索の出典の37%が従来検索に無い」という書き方もあり、分母の書き方は揺れています。

同じ会社が運営する検索どうしでも、出典のドメインは30%以上違いました。

重なったドメインに限ると、AI検索がよく引用するのは、従来検索で1位だったサイトでした。1位の割合はBingで23.27%、Googleで14.53%です。

信頼度と政治傾向

信頼度と政治傾向は、ニュース評価サイトに採点があるドメインだけが対象です。採点がついたのは、各検索のドメインのうち9%から29%でした（論文の付録C）。

検索	信頼度の平均	信頼度の中央値	政治傾向の平均	政治傾向の中央値
Google（従来）	2.54	4.36	-0.53	-0.20
Bing（従来）	4.38	6.30	-1.18	-0.70
AI Mode	3.23	4.73	-1.02	-0.70
ChatGPT	2.48	3.08	-0.63	0.00
Copilot	2.79	4.36	-0.97	-0.20
Gemini	2.16	-0.55	-0.73	0.00
Grok	3.17	4.73	-1.25	-2.40
Perplexity	2.95	4.36	-1.20	-0.20

信頼度の平均が最も高いのはBing（4.38）で、AI検索の6つはどれもそれを下回りました。Googleを上回ったのは、AI ModeとGrokとCopilotとPerplexityです
Geminiは、引用の41%が百科事典サイト1つに集中し、回答の62%が評価対象のドメイン1つだけを引用していました。信頼度の平均と中央値は、8つの中で最も低い値です
政治傾向は、8つすべてが平均でマイナス（左寄り）でした。従来検索も同じです。論文は、Geminiが引用したドメインの6.4%が、左寄りの強い側（極左を含む、-5未満）に入ると報告しています
Grokは、回答ごとの政治傾向が0（中立）になった回答が16%にとどまり、AI検索6つの中で最も中立性が低い結果でした

安全性

125,555のドメインのうち、危険と判定されたのは439（0.36%）でした。AI検索は出典が少なくても、危険なドメインが混ざる点は従来検索と同程度でした。

検索	危険なドメインの割合	危険ドメインの平均数（1回答あたり）
Google（従来）	0.23%	1.05
Bing（従来）	0.42%	1.33
AI Mode	0.25%	1.07
ChatGPT	0.32%	1.01
Copilot	0.34%	1.03
Gemini	0.26%	1.56
Grok	0.34%	1.11
Perplexity	0.23%	1.02

割合で見ると、AI検索の多くはGoogleとBingの間に収まりました。1回答あたりの数では、Geminiだけが両方を上回っています（Googleの約1.5倍と、論文は書いています）。

危険なドメインが出た質問は、芸能、人と社会、金融、スポーツの4分野で半分を超えました。身近な話題でも出るということです。

AI検索に選ばれやすいサイトの特徴

最後に、AI検索だけが引用したドメインと、従来検索だけに出たドメインを見分ける予測モデルを作り、何が効いているかを調べました。最も精度が高かったのはXGBoostという手法で、重み付きF1値（予測の当たり具合を表す指標）は0.758でした。

見分けに強く効いたのは、次の3つです（論文のSHAP値という寄与度。括弧内の数字）。

人気順位（0.923）。順位の数字が大きい（人気が低い）ほど、AI検索の側に傾きます
外部へのリンクの数（0.799）。多いほどAI検索の側に傾きます
.comのドメインであること（0.623）

ページそのものの特徴も、1万URLを無作為に取り出して比べています。AI検索の出典は、文章が読みやすく（読みやすさの指数は24.15で、従来検索は12.32）、HTMLのタグの階層がやや深い（階層の平均は16段で、従来検索は15段）傾向がありました。

どの差も統計的には有意ですが、分布の差の大きさを示す値は0.02から0.10と小さいものです。論文自身も、タグ数と階層の差を「控えめな増加」と述べています。

論文自身が書いている限界

この論文には「限界」の節が見当たりません。結論の「今後の課題」の中で、次の2点に触れています。

画面に表示された出典だけを分析しており、AIが裏で取得した情報や内部の順位づけは、調べる範囲の外
広告や有料掲載が出典の選ばれ方に与える影響と、GEO（生成AI向けの最適化）の影響は、今後の課題としている

付録には、評価に使った外部データの対応率も書かれています。ニュース評価サイトの採点は9%から29%、人気順位は45%から57%のドメインにしかつきませんでした。

原文を読んで気づいた点

日本語での検証は、行われていません。質問は米国のトレンドから作られ、英語です。信頼度と政治傾向の採点も米国の媒体が中心で、日本のサイトに当てはまるかは、これから確かめる段階です
2025年7月から8月の1回の記録です。AI検索は頻繁に作り替えられるため、いまのサービスの振る舞いは、変わっている可能性があります。AI ModeとCopilotは、バージョンも非公開です
採点は外部のデータに頼っています。信頼度や安全性は民間サービスの採点・判定を使っています。論文が人手で照合したのは、サイトの分類と安全性の判定で、100件ずつの抜き取りです（一致度は92%と86%）。信頼度と政治傾向の採点は、評価サイトの審査員が付けたものとして、照合されていません。また、採点がつくのはニュース系のごく一部です
「多様性が高い」という要約は、一部の検索にしか言えません。ジニ係数の差が確かめられたのは、6つのうち3つです。GeminiとGrokの偏りの低さは、そもそも出典の数が少ないことも影響しているかもしれないと、論文自身が述べています
特徴の分析は、相関の分析です。予測モデルは「AI検索だけ」と「従来検索だけ」のドメインを見分けるもので、従来検索側の見分け精度は低めでした（F1が0.45）。サイトを変えると引用が増えるかは、これから試される段階です
査読の有無は確認できませんでした。コメント欄に学会名などの記載はなく、arXivのプレプリントとして読むのが安全です。書式は学会論文に近い体裁ですが、それだけでは採択の根拠になりません
論文の中で数字が食い違う箇所があります。次の5点です

ドメインの総数：冒頭は124,287、安全性の節は125,555と書かれています
危険と判定されたドメイン：本文は439（0.36%）、付録の閾値の説明は646（0.4%）と書かれています
人気順位の表（表2）：差の列の一部は、平均値から引き算した値と食い違います。例えばGrokの対Googleは、表が+418.98、平均から計算すると約+1,419（概算）です
人気の低さの本文：「CopilotとGeminiは両方の従来検索より22,000超高い」とありますが、表の平均で計算すると、対Bingは約20,900と約16,000（概算）です
外部リンクの説明：冒頭は「信頼できる出典への外部リンクが多い」と要約しますが、第6章で測ったのは外部リンクの数だけです

私の見るかぎり、どれも論文の主な結論の向きを変えるものではありません。数字の書き間違いや、要約の言い回しの揺れとみられます。

この記事の数値は、表に載っている値をそのまま使い、差は平均値から自分で計算した場合に「概算」と書いています。

この論文から、言えること・言えないこと

言えること（論文の設定で確認された）	言えないこと（論文では確認されていない）
AI検索の出典は、従来検索より少なく、両方を合わせたドメインの37%はAI検索にだけ出ていた	日本語の質問や日本のサイトでも同じ割合になること
出典の信頼度、政治的な中立性、安全性で、AI検索が従来検索を上回るとは示されなかった	AI検索の出典が、従来検索より劣ること（Bingより低い一方、Googleを上回る検索もある）
AI検索だけが引用するドメインは、人気順位が低め、外部リンクが多め、文章が読みやすい傾向があった	サイトをそう作り替えると引用されること
重なったドメインでは、従来検索で1位のサイトがよく引用された	従来検索で1位になれば、AI検索で引用されること
2025年7月から8月の6つのAI検索では、危険なドメインも出典に出ていた	いまのAI検索で同じ割合になること