【LLMO論文解説】ChatGPTは健康の質問で何を引用するか｜引用615件を著者・発行元・監修・技術の4観点で数えた研究（プレプリント）

ChatGPTに体の不調や病気のことを尋ねると、回答の下に参照したページのリンクが並びます。あのリンクには、どんなサイトが選ばれているのか。

2026年1月にarXivで公開された論文が、この問いを数えて確かめました。米国の大学で健康科学・公衆衛生を研究する7人のグループが書いた「Authority Signals in AI Cited Health Sources」です。

著者たちは、健康の質問100問をChatGPT 5.2 Proに入力し、回答で引用された615件の情報源を集めました。そして1件ずつ、「誰が書いたか」「誰が出したか」「どう確かめたか」「AIはどう見つけるか」の4つの観点で記録しています。

この記事では、その結果と、この研究で分かったこと・分からないことを原文から整理します。

合同会社謙虚は、3つのドメインを並行して運用し、何を変えると数字が動くかを測り続けています。「著者の資格や監修の表示は、AIに引用される条件なのか」という問いに、実際の引用を数えた研究がどこまで答えているかを確かめるために、この論文を読みました。

結論：3行で言うと

• ChatGPT 5.2 Proが健康の質問100問で引用した615件のうち、75.7%は医療機関・公的機関・百科事典・専門家団体など、組織としての裏づけを持つ情報源でした
• 一方で、引用されたページの64.7%には著者名が見当たらず、60.8%は参考文献を載せていませんでした。論文は、発行元の組織の種類が主で、著者名や監修などの目印は二次的だと解釈しています（引用されなかったページとの比較はありません）
• 組織の後ろ盾を持たない営利の健康情報サイトは、医学的な監修の明記（71.1%）や構造化データ（86.8%）の割合が高めでした。ただし引用されなかったページとの比較は無いので、これらの目印が引用の理由だとは言えません

この論文の基本情報

項目	内容
題名（原題）	Authority Signals in AI Cited Health Sources: A Framework for Evaluating Source Credibility in ChatGPT Responses
著者	Jacquesほか計7人。所属はニューヨーク市立大学ヨーク・カレッジ、コロンビア大学ティーチャーズ・カレッジ、ウィリアム・パターソン大学、ニューヨーク市立大学公衆衛生大学院（すべて大学）
公開日	2026年1月23日（arXiv初版。確認した版もこの初版）
arXiv番号	2601.17109（分類は電子図書館、副分類に人工知能）
掲載・採択	arXivのプレプリント。コメント欄の記載は「24ページ、図4点、表1点」と研究資料の公開先だけです。学会や論文誌の採択は書かれておらず、査読前の原稿として読むのが妥当です
種類	記述的な横断研究（ある1時点の様子を数えて記述する研究）。新しい評価の枠組みを提案し、それを実際の引用に当てはめています
実験データとコード	判定の定義と自動判定の仕組みを、研究データの公開サービス（Zenodo）で公開していると書かれています

論文はこちらで読めます。arXiv（2601.17109）、DOI、研究資料の公開先。

この論文が答えた問い

ChatGPTが健康の質問に答えるとき、引用される情報源には、どんな権威性の目印が付いているのか。

論文の背景説明によると、ChatGPTの利用者約8億人のうち3分の1近くが毎週健康の質問をしています（論文が引用した運営元の発表）。医療機関も、AIの回答で見つけてもらうための取り組みを始めています。

健康情報の分野では、昔から信頼の目印が議論されてきました。医師や博士などの資格、公的機関や大学病院との関係、査読や編集の手続き、根拠の文献です。

論文は1997年に医学誌に載った品質基準などを引き、こうした目印が「AIに引用された情報源」でどれだけ見られるかを系統立てて調べた枠組みは、これまで無かったと述べています。

著者たちは、AI向けの最適化が広まる前の「基準となる記録」を残すことを、この研究の狙いに挙げています。後から同じ方法で測り直し、変化を比べるための出発点です。

どうやって調べたのか

4つの観点（権威性シグナルの枠組み）

論文が提案した枠組みは、4つの問いでできています。記録した項目は合計11個です。

問い	論文での名前	記録した内容
誰が書いたか	著者の資格	著者名なし／名前だけ／名前と資格の3段階
誰が出したか	発行元の所属	発行元の組織を8種類に分類（医療機関、公的機関、営利の健康情報サイト、個人・小規模の医院、百科事典、専門家団体、査読付き論文誌、ニュース）
どう確かめたか	品質保証	参考文献の有無、医学的な監修の記載の有無、ページの日付（2020年より前か日付なし／2020〜2023年／2024〜2026年）、AIが書いた文章かの判定
AIはどう見つけるか	デジタル上の権威	民間のSEOツールが出す「ページの強さ」「ドメインの強さ」「スパムらしさ」（いずれも0〜100）、構造化データ（検索エンジン向けにページの中身を示す記述）の有無と形式、本文の長さ（500語未満／500〜1,500語／1,500語超）

データの集め方

• 質問：検索エンジンの入力候補から集めた、一般の人の健康の質問3,173問のデータセット（HealthSearchQA）。並べ替えて先頭の100問を使用
• 使ったAI：ChatGPT 5.2 Pro。新しく作ったアカウントで、1問ごとに別のチャットを開いて入力
• 追加の指示：各質問のあとに「出典をリンク付きで示してください」という定型文を入れた
• 実施日：2026年1月11日の1日だけ
• 集めた引用：1問あたり4件以上、合計618件。開けないページ3件を除いて615件
• 判定の方法：ページの本文を自動で取得し、判定基準を書いた手引きに沿って、外部の大規模言語モデルのAPIが項目を読み取る。取れなかった欄は2人の担当者が手で入力
• 分析：割合・中央値などの記述統計と、組織の種類ごとのクロス集計

押さえておきたい点が2つあります。1つ目は、出典を付けるよう毎回指示していることです。

普段の使い方で出る引用とは、条件が異なる可能性があります。2つ目は、統計的な検定を使っていないことです。

この研究は、引用された615件の姿を数えて記述したものです。

結果

引用の4分の3は、組織の裏づけを持つ情報源だった

発行元の種類	引用数	割合
医療機関（大学病院・病院グループなど）	188	30.6%
公的機関（国・州・自治体、国際機関）	119	19.3%
営利の健康情報サイト	76	12.4%
個人・小規模の医院のサイト	73	11.9%
百科事典（全件がウィキペディア）	66	10.7%
専門家団体・患者団体	53	8.6%
査読付き論文誌・論文データベース	35	5.7%
ニュース	5	0.8%

数字は論文の表1からです。営利サイトと個人・小規模の医院を除いた6種類を、論文は「組織としての裏づけを持つ情報源」とまとめ、合計75.7%としています。

残りの24.3%が、組織の後ろ盾を持たない情報源です。

引用は一部の組織に集中していました。上位10の組織で615件中325件（52.8%）を占めています。

多かったのは、ウィキペディア（10.7%）、米国の医療機関のメイヨー・クリニック（9.9%）とクリーブランド・クリニック（9.8%）でした。

付録の一覧では、英国の国民保健サービスが33件、米国の医学論文データベースが28件です。論文の図3では、上位10に営利の健康情報サイトが3つ入っています。

個々のページの目印は、そろっていなかった

観点	項目	引用された615件での値
誰が書いたか	著者名なし／名前だけ／名前と資格	64.7%／28.3%／7.0%
どう確かめたか	医学的な監修の記載あり	29.6%
どう確かめたか	参考文献あり	39.2%
どう確かめたか	日付が2024〜2026年／2020〜2023年／2020年より前か日付なし	36.4%／22.9%／40.7%
AIはどう見つけるか	ページの強さ／ドメインの強さ／スパムらしさ（中央値）	55／89／2
AIはどう見つけるか	構造化データあり	74.3%（JSON-LD形式は68.3%。本文の値）
AIはどう見つけるか	本文が短い／中くらい／長い	18.5%／33.7%／47.8%

AIが書いた文章かどうかの判定は、ツールで判定できたのが約半数の305件だけでした。その305件のうち、AI由来と判定されたのは22.6%、人が書いたと判定されたのは77.4%です。

• 名前と資格の両方が見えるページは、7.0%にとどまりました。健康情報で重視されてきた「誰が書いたか」は、引用されたページの多くで確認できない状態でした
• ドメインの強さは中央値89と高めでした。私の読み取りでは、引用の多くを、ウェブ上で大きな存在感を持つサイトが占めていることと合っています
• 日付が古いか、日付の無いページが40.7%ありました。私の読み取りでは、新しさだけで選ばれているとは言いにくい数字です。なお論文は、AIが新しい日付の内容を好むという先行研究も引いています

組織の種類によって、目立つ目印が違った

論文は、組織の種類ごとに目印の割合を比べています。本文に数字がある組み合わせだけを拾いました（「記載なし」は原文に数字が無い欄です）。

発行元の種類	監修の記載	参考文献	構造化データ	1,500語超	2024〜2026年の日付
医療機関	49.5%	13.3%	記載なし	31.9%	41.0%
公的機関	13.4%	記載なし	61.3%	31.1%	50.4%
営利の健康情報サイト	71.1%	記載なし	86.8%	68.4%	18.4%
個人・小規模の医院	4.1%	19.2%	78.1%	50.7%	61.6%
百科事典	1.5%	100.0%	100.0%	83.3%	記載なし
査読付き論文誌	11.4%	80.0%	42.9%	記載なし	2.9%

論文はこの違いを「3つの信頼の戦略」と名付けています。論文は、これらの目印が引用に影響した可能性にも触れていますが、比較で確かめてはいません。

• 組織の裏づけを持つ情報源は、組織そのものの権威に頼っている。公的機関の監修の記載は13.4%、論文誌は11.4%と少なめでした
• 営利の健康情報サイトは、複数の目印を重ねている。監修の記載、構造化データ、長い本文の割合が高く、論文はこれを組織の後ろ盾の無さを「補う目印」と解釈しています
• 個人・小規模の医院は、ページの新しさが目立つ。2024〜2026年の日付が61.6%で、種類別で最も高い割合でした

論文は、目印を重ねることは良い運営の表れであると同時に、人の受け止め方やAIの選び方に影響する「意図した戦略」にもなり得ると書いています。どちらなのかを確かめることは、この論文の分析の範囲外です。

論文自身が書いている限界

論文が挙げている限界は2つです。

• 1時点だけの調査なので、時間とともにどう変わるかは、今後の測定で確かめる必要があります
• 質問集3,173問のうち100問だけを使ったので、別の質問でも同じ結果になるかは未確認です

原文を読んで気づいた点

• 引用されなかったページとの比較がありません。数えたのは引用された615件だけです。そのため「監修の記載があると引用されやすい」のような因果は、この研究の範囲の外にあります
• 日本語での検証は行われていません。質問は英語で、引用元も米国・英国・オーストラリアなどの英語圏の組織が中心です
• AIは1つのサービス、1つのアカウント、1日だけです。毎回「出典をリンク付きで」と求める指示も付いています
• 判定の多くを大規模言語モデルが自動で行っています。判定の手引きもAIの助けを借りて作ったと書かれています。2人目の担当者は、チャットから表への転記の一部の確認と、取れなかった欄の手入力に加わりました。自動判定との一致度は報告されていません
• 組織の分類に、デジタル上の指標を使った部分があります。営利サイトと個人の医院の区別が曖昧なときは、ドメインの強さ45以下を個人の医院としています。「個人の医院はドメインの強さが低い」という結果の一部は、分類の決め方から来ています
• 「組織の裏づけ」75.7%には、ウィキペディア（10.7%）が入っています。付録の定義では、百科事典は主に利用者が書き込む参照サイトです。これを除くと約65.0%になります（75.7%から10.7%を引いた概算）
• 原文の中で数字が合わない箇所があります。長い本文の割合は本文で47.3%、表1で47.8%（294件÷615件は47.8%）。組織の数は方法の節で248、付録の集計で223。論文誌の引用は表1で35件、付録で36件です。AI文章の判定件数も、方法の節では約309件、結果では305件です
• 営利サイトの目印の高さは、比べる相手に注意が要ります。論文は、監修の記載・構造化データ・長い本文の3つで営利サイトが組織の裏づけを持つ情報源を大きく上回ると書いています。ただ、構造化データと長い本文は百科事典（100.0%、83.3%）のほうが高く、数字で確かめられる相手は、構造化データでは公的機関（61.3%）と論文誌（42.9%）、長い本文では医療機関（31.9%）と公的機関（31.1%）です
• arXivのプレプリントで、査読済みの掲載先は確認できません。論文に利益相反や資金の申告欄は見当たらず、AIの利用についての説明欄はあります。著者の所属はすべて大学です

この論文から、言えること・言えないこと

言えること（論文の設定で確認された）	言えないこと（論文では確認されていない）
2026年1月のChatGPT 5.2 Proは、英語の健康の質問100問で、医療機関・公的機関などを多く引用した	日本語の質問や、他のAIサービスでも同じ割合になること
引用されたページの多くに、著者名や参考文献が無かった	著者名や資格を載せると、引用されやすくなること
営利の健康情報サイトは、監修の記載や構造化データの割合が高かった	監修の記載や構造化データが、引用の理由になっていること
ドメインの強さが低い個人・小規模の医院も、11.9%引用されていた	健康以外の業種で、同じような引用のされ方になること
4つの観点で引用元を記録する手順を、再現できる形で公開した	時間がたっても同じ傾向が続くこと

中小企業の視点で、どう受け取るか

ここからは論文の主張とは別の、私の読み取りです。論文が扱ったのは健康・医療の分野で、中小企業の記事全般に当てはまるかは確かめられていません。

そのつもりで読んでください。

組織の看板と同じ土俵で競う前提を置かない

健康の質問では、引用の半分以上を上位10の組織が占めていました。医療のように公的機関や大病院が情報を出している分野では、中小企業のページが同じ質問で割って入る余地は小さいと考えられます。

狙う質問を、自社が現場の経験から答えられる細かな質問に寄せるほうが現実的です。

ドメインの強さが低いサイトにも、引用の枠はあった

個人・小規模の医院のサイトは、ドメインの強さの中央値が21（付録）で、ほとんどが1件ずつの引用でした。それでも69の組織から73件が引用されています。

強い組織に並ばなくても、ある質問にぴったり答えるページなら拾われる場合がある、と私は読んでいます。何が決め手だったのかは、この論文では分かりません。

著者名・更新日・参考文献は、読み手のために付ける

引用されたページでも、名前と資格がそろっていたのは7.0%でした。これらの目印はAIに引用される条件として確かめられたものではありません。

一方で、健康情報の研究では長く「読み手が信頼を判断する材料」とされてきた項目です。AI対策の点数稼ぎとしてではなく、読み手が確かめるための情報として整えるのが筋だと考えます。

自社の分野で、AIが何を引用しているかを数える

この論文の良い点は、手順がそのまま真似できることです。自社の分野の質問を決め、新しいチャットで尋ね、引用されたページを発行元の種類ごとに数える。

それだけで、自社の分野でどんな情報源が選ばれているかの見取り図ができます。

よくある質問

「権威性シグナルの枠組み」の論文は、E-E-A-Tと同じ話ですか

論文はE-E-A-T（検索エンジンの品質評価で使われる経験・専門性・権威性・信頼性の考え方）に触れていません。枠組みの土台は、1997年の医療情報の品質基準など、健康情報の研究で使われてきた信頼の目印です。

考え方は近いものの、別の流れから作られた枠組みです。

ChatGPTの健康の回答で、個人のクリニックのサイトは引用されていましたか

引用されていました。個人・小規模の医院のサイトは615件中73件（11.9%）で、69の組織にまたがっています。

多くは1組織1件でした。付録の定義では、医療者1〜5人程度の独立した医院のサイトを指しています。

医師監修の表示や構造化データを入れると、ChatGPTに引用されやすくなりますか

この論文からは判断できません。営利の健康情報サイトで監修の記載や構造化データの割合が高かったことは確認されています。

しかし、引用されなかったページとの比較をしていないため、それが引用の理由かどうかは分からないままです。

まとめ：今日できる1つのこと

自社のお客様がAIに尋ねそうな質問を1つ決め、ChatGPTの新しいチャットで「出典をリンク付きで示してください」と添えて尋ねてみてください。

出てきたリンクを、公的機関、業界団体、大手の情報サイト、同業の小さな会社、というように発行元の種類で分けて数えます。どの種類が多いかで、自社のページが入り込める余地の大きさが見えてきます。

この論文は、LLMO論文の一覧の一本です。ほかの論文の解説も、順次公開しています。

ページを増やしても問い合わせが来ないなら、原因はページの外にあります。その場合は、下の入口からご相談ください。