【LLMO論文解説】AI Overviewsの健康回答は引用先で裏づけられたか｜3,611問で出典と正確さを調べた研究（プレプリント2026）

2026年10月29日、Googleの検索結果の最上部に出るAIの要約回答「AI Overviews」を、健康に関する質問3,611問で調べた論文がarXivで公開されました。従来の検索の上位5件と並べて、出典の選び方、出典の質、回答が出典で裏づけられているか、医師の採点基準で何点になるか、を測っています。

この記事で分かるのは、AI Overviewsが従来の検索と同じ出典を選んだか、引用が付いた記述は引用先で裏づけられていたか、そして「引用が付いていること」と「正確さ」が結びついていたか、の3点です。数値は原文の表と本文から拾いました。

合同会社謙虚は、3つのドメインを並行して運用し、何を変えると数字が動くかを測り続けています。この論文は、AIの回答に付く「引用」が中身の裏づけや正確さと結びつくのかを大規模に測っていて、引用される側の私たちが数字を読み違えないための材料になります。

この記事は論文の測り方と結果の紹介で、医療上の助言ではありません。体調や治療のことで迷うときは、医師などの専門家に相談してください。

結論：3行で言うと

• 従来の検索の上位5件のうち、読み取れたページでは、AI Overviewsに引用されたのは44.4%でした。引用先は、民間の健康情報サイトが多く、米国の大手病院系のサイトや英国の公的医療サービスが少ない傾向でした
• 引用先に照らして判定できた記述のうち、引用先のページで裏づけられていたのは、推定56.7%です。このほかに、事実の主張なのに引用が付いていない記述が、全体の20.8%ありました
• 医師が書いた採点基準では、全項目で38.2%の得点でした。そして、回答の正確さは、記述が引用先で裏づけられている度合いと関係がありませんでした

これは、英語の質問を米国の設定で検索した結果です。日本の検索や日本の医療情報は、この論文の対象の外にあります。

この論文の基本情報

論文はこちらで読めます。arXiv（2610.39339）、DOI。

この論文が答えた問い

GoogleのAI Overviewsは、健康の質問で、従来の検索と同じ水準の出典を選び、その出典のとおりに書き、医師が求める内容を答えているのか。

論文は、AI Overviewsを「出典を選んで評価する作業を、利用者から取り上げたもの」と捉えます。要約が出ると従来のリンクはクリックされにくく、要約を出典と照らす人もまれだ、という既存の調査を紹介しています。

そのため、要約の正確さと出典への忠実さが、利用者を守る主な安全装置になる、というのが論文の問題意識です。

従来のGoogle検索は、健康の分野で、大学や政府のサイトのような信頼できる出典を上位に出すよう、長年かけて作られてきたと論文は述べます。AI Overviewsがその基準を引き継ぐかは、未確認でした。

どうやって調べたのか

JAMAの基準は、著者の資格、出典の明示、日付、利益相反の開示を見る医療情報サイトの評価基準です。HONcodeは、医療サイトの信頼性を認証するために作られた行動規範で、この研究では、著者や監修者が分かるか、運営が政府や大学かを見る項目などを使っています。

論文は、質問を「必要な知識の量」と「回答が悪かったときの危険度」でも分けています。知識の量は、医師の採点基準の項目数（2〜3個を少、4〜7個を中、8個以上を多）を目安にしました。

危険度は、HealthBenchの7つの話題を、悪い回答の結果に応じて著者たちがまとめたものです。結果は両方の区分ごとにも示されています。

結果

出典：従来の上位5件とは、半分以上が違った

• 引用が付いたAI Overviewsは、1回答あたり平均8.50件の出典を引用しました。従来の結果は平均4.84件です（従来は上位5件までを集める設計）
• 読み取れた従来の上位5件（14,443件）のうち、AI Overviewsにも引用されたのは44.4%（6,412件）。残りの55.6%（8,031件）は従来の検索だけに出ていました
• 従来の上位に多かったのは、米国の大手病院系のサイトと、英国の公的医療サービス（NHS）です。NHSは、AI Overviewsの引用の1.5%に対し、従来の結果の3.1%でした
• AI Overviewsに多かったのは、民間の健康情報サイトです。上位のある2サイトは、引用の2.0%と1.8%に対し、従来の結果では1.4%と1.3%でした
• 引用が1件もないAI Overviewsが、9.4%（327件）ありました。その質問は平均73.5語で、引用がある回答の質問（40.5語）より長めでした
• 引用なしの割合は、必要な知識の量が少ない質問で4.2%、中程度で6.0%、多い質問で10.6%です。危険度では、低6.4%、中8.1%、高17.6%でした

出典の質：差はあるが、小さい

次の表は、1問ごとに、引用されたページが基準を満たす割合の平均です（1.00なら全ページが満たす）。

差の列のdzは、差の大きさを表す効果量で、マイナスは従来の上位5件のほうが高いことを示します。

6項目のうち4項目で、従来の上位5件のほうが高い値でした。ただし、差の絶対値はすべて0.19以下で、論文自身も「比較的小さい」と述べています。

記述の根拠づけ：引用が付いた記述の約半分は、引用先で裏づけられなかった

AI Overviewsの本文は、3,474件の回答から数えて24,060の記述（段落や箇条書き1ブロックを1つと数えます）でした。その内訳が次の表です。

判定できた12,175の記述のうち、引用先で裏づけられたと判定されたのは5,735（47.1%）、裏づけられなかったのは6,440（52.9%）でした。

ただし、判定モデルは人より厳しめでした。人の確認用に選んだ100の記述では、人は67%を「裏づけあり」と判断し、モデルは54%でした。

そこで論文は、この食い違いを補正した推定値として、56.7%（95%信頼区間は45.3〜68.6%）を示しています。

裏づけの割合は、必要な知識の量が増えるほど下がりました。少ない質問で52.2%、中程度で47.4%、多い質問で46.3%です（モデルの判定値で、補正前）。

医師の採点基準：正確さで失った点の大半は、述べた誤りより内容の不足

• 正確さの基準で失った点のうち、内容の不足が89%、述べてしまった誤りが11%でした
• 22.2%という数字の対象は、医師が「この誤りを避けること」と具体的に書いた採点基準を持つ2,065件に限られます。共通の基準で「誤りなし」と判定された回答でも、28%がそうした内容を含んでいました
• 網羅の得点が低いことについて、論文は、AI Overviewsの回答が短いために、採点基準が想定する長い回答より不利になった可能性を挙げています

引用や根拠づけは、正確さと結びつかなかった

• 正確さと網羅の得点と、記述の裏づけの割合の相関は、ほぼゼロでした（順位相関係数は0.01）
• 引用が1件もない回答（320件）と、引用がある回答（3,140件）で（どちらも採点対象3,460件の内訳）、得点はほぼ同じでした（40.4%と39.2%）
• 引用ページのHONcode得点が高いと、得点はわずかに高く（相関係数0.10）、JAMAの得点が高いと、わずかに低くなりました（相関係数-0.05）

論文は、理由を断定せず、考えられる説明として、引用先のページが最新でないか、合意された内容を載せていない可能性、回答が主にモデルの学習済みの知識で作られている可能性、回答を先に作ってから合う引用を探している可能性、の3つを挙げます。どれが当たっているかは、この研究では区別できないと述べています。

質問を44語以下の1回きりの質問1,714問に絞った再分析でも、主な結論は変わりませんでした。ただし論文は例外も挙げています。

引用なしの回答は9.4%から5.8%に減り、学術誌の基準の「出典の明示」の差は消え、裏づけと得点のあいだにごく弱い相関（順位相関係数0.06）が出ました。

論文自身が書いている限界

• 探索的な最初の研究で、AI Overviewsの質の絶対的な水準は示さず、相対的な比較として読むべきだと述べています
• HealthBenchの質問は、AIとの会話を試すために作られたもので、普通のGoogleの質問より長めです。引用なしの回答が増えた可能性があります
• 採点基準は、AI Overviewsより少し長い回答を想定して作られています。得点は回答の長さとも関係していました（相関係数0.14）。そのため、短い回答が不利になった可能性があります
• 採点は、機械の自動採点、分類モデル、GPT-4.1に頼っています。人との一致度は妥当な範囲だと述べつつ、絶対的な質を表すとは限りません
• 読めなかったページ（アクセス拒否やSNSなど）は分析から外れました
• データの取得は3日間で、AI Overviewsはモデルの改良で常に変わります

原文を読んで気づいた点

ここからは、論文本文とは別に、私が原文を読んで気づいた点です。

• 検証は英語だけです。質問は英語、検索は米国の設定です。日本の検索結果や日本の医療情報に使うには、別の検証が要ります
• 査読の有無は確認できませんでした。採択先の記載がなく、プレプリントです
• 実際の検索とは違う条件です。複数回のやりとりの質問は、利用者側の発言をつなげてGoogleに入れています
• 採点者はGPT-4.1です。人の確認役に臨床の専門知識がなかったため、医師が書いた基準を、GPT-4.1が採点しています。GPT-4.1と医師の一致は、元の研究が検証した結果を再現したものです
• 出典の質の採点は、人の確認が少ないです。機械の採点を人と比べたのは、3つの質問の29ページ（174件の判断）だけでした。一致は84%、補完性の項目は一致率86%でも、偶然を除いた一致度（カッパ係数）は0.26と低い値でした
• 56.7%の補正は、100の記述の確認に基づきます。信頼区間が45.3〜68.6%と広く、大まかな水準として読むのが安全です
• 「権威」の項目の差は、出典の種類の違いと重なります。HONcodeの権威は、政府や大学の運営なら満たす定義です。AI Overviewsに政府・大学系のサイトが少ないという結果と、同じ現象を別の面から見ている可能性があります
• 差の小ささと、論文の言葉の強さに開きがあります。差は小さいのに、考察では「質が低い」と書かれています
• 「5件に1件」は、対象を限った数字です。22.2%は、医師が具体的な誤りを書いた採点基準がある回答（3,474件のうち2,065件）の中の割合です。考察の冒頭では、これが5分の1の割合で誤った情報を含む（原文は one-fifth of the time）と、やや一般化して書かれています
• 別の研究とは、数字が大きく違います。私たちが以前解説したAI Overviewsの実測調査では、主張の約89%が出典で裏づけられ、健康の分野は94.77%でした。判定する道具も基準も違い、この論文の47.1%や56.7%とは比較の土台が違います。裏づけの数字は、誰がどの基準で測るかで大きく動きます

この論文から、言えること・言えないこと

中小企業の視点で、どう受け取るか

ここからは論文の主張とは別の、私の読み取りです。

• 引用されたことと、正しく伝わったことは別と考える。この論文では、引用が付いた記述の約半分が、引用先に裏づけがないと判定されました。自社のページが引用された回答でも、中身が自社の書いた内容と合っているかは、別に確かめる必要があります
• 引用の件数だけで成果を測らない。引用がある回答と、ない回答で、正確さの得点がほぼ同じでした。引用の有無は、中身の正しさの目印にならなかった、というのがこの論文の結果です
• 医療・健康の発信者は、論文が測った項目を自社のページで確認する程度にとどめる。著者や監修者の表示、更新日、広告などの開示は、論文が出典の質を測った項目と重なります。ただし、これらを整えた効果は、この論文の測定の外にあります。JAMAの得点と正確さの関係は、むしろわずかに負でした
• 日本の読者は、自分の業界の質問で確かめる。この論文は、英語・米国の結果です。日本語で聞くと出典の傾向が変わることを報告した別の研究の解説は、健康の質問でAI要約は誰を出典にするかにまとめています

よくある質問

「Does the Citation Matter?」の論文は、AI Overviewsの回答は信頼できないと言っているのですか

論文は、結果を「健康の質問での相対的な比較」として読むよう求め、絶対的な質の評価ではないと断っています。そのうえで、信頼区間の上限で見ても、健康情報として許容できる水準には届かなかったと述べ、改善されるまでは信頼するより非表示にするか無視するのが賢明かもしれない、とも書いています。

これは論文の提言の紹介で、本記事の医療上の助言ではありません。

あわせて、利用者には回答を出典と照らす学習を、Googleには従来の健康向けの基準に合わせることを勧めています。

AI Overviewsの出典の裏づけ率56.7%は、回答全体の正確さを表す数字ですか

回答全体の正確さとは別の数字です。56.7%は、引用先に照らして判定できた12,175の記述の中で、モデルの誤りを補正した推定値です。

回答全体の正確さは、医師の採点基準での得点で測られていて、正確さの得点は54.2%でした。この論文では、裏づけの割合と正確さの得点の関係は、ほぼゼロでした。

病院やクリニックの発信者は、AI Overviewsの論文の結果から、何を変えるべきですか

この論文は引用のされ方を観察した研究で、発信者側が書き方を変えた効果は、測定の外にあります。何を変えれば引用が増えるかは、この論文の外にある問いです。

言えるのは、この条件で、上位の民間サイト2つが従来の検索より多く引用されたことです。自社の質問で、要約と出典を並べて見る確認から始めるのが、論文の範囲で安全な受け取り方だと私は考えます。

まとめ：今日できる1つのこと

お客様がよく聞く質問を1つ選び、その文面のまま、Googleで検索してください。AI Overviewsが出たら、要約の文と出典のページを横に並べ、自社の情報が正しく書かれているかを確かめます。

結果は日付とともに記録します。AI Overviewsは変わり続けるため、1回の結果より、積み重ねた記録が判断の材料になります。

この論文は、LLMO論文の一覧の一本です。ほかの論文の解説も、順次公開しています。

ページを増やしても問い合わせが来ないなら、原因はページの外にあります。その場合は、下の入口からご相談ください。