AIが答えを作るとき、根拠として動画を示すことが増えてきました。では、その動画は、AIが書いた主張を本当に裏づけているのでしょうか。
2026年4月に公開された論文「Auditing the Reliability of Multimodal Generative Search」は、この問いを約1万2千件のデータで調べた監査（外から出力を調べる検査）です。
この記事は、その論文を原文から読み、要点を整理します。調べられたのはGemini 2.5 Proという1つのモデルで、動画はYouTubeに限られます。
また、「裏づけがない」という判定は人間ではなく、3つのAIが下したものです。この点は、記事の中で何度も確かめます。
調査の実施日は論文に書かれていません。
合同会社謙虚は、3つのドメインを並行して運用し、何を変えると数字が動くかを測り続けています。この論文は、AIが引用を付けることと、その引用が主張を支えていることは別の話だと、数字で示している点が、測り方を考えるうえで参考になります。
結論：3行で言うと
- 動画を引用元にした主張のうち、3.7%〜18.7%は、引用された動画の文字情報で裏づけを確認できないと、3つのAIの審査員が判定しました。幅は、審査員の厳しさで生まれています
- 多かった失敗は、真逆のことを言う矛盾より、動画に出てこない細かい数字や固有名詞の追加と、言い過ぎでした
- 主張の言葉や意味が動画の書き起こしから離れているほど、裏づけが取れない傾向がありました。これは相関であり、原因は確かめられていません
この論文の基本情報
| 項目 | 内容 |
|---|---|
| 題名 | Auditing the Reliability of Multimodal Generative Search |
| 著者 | Erfan Samieyan Sahneh、Luca Maria Aiello（IT University of Copenhagenとボローニャ大学） |
| 公開 | 2026年4月1日（v1）。2026年5月25日に改訂（v2、誤字の修正、データ公開の節と例の追加） |
| arXiv番号 | arXiv:2604.00944（分野はcs.CY、コンピュータと社会） |
| 掲載・採択状況 | arXivのプレプリントです。arXivのコメント欄に、学会への採択の記載はありません。本文の書式は国際会議向けの様式に見えますが、採択されたかどうかは、私が確認した範囲では分かりませんでした |
| 種類 | 実測による監査研究。モデルの中身には触れず、出力だけを調べる方法です |
| データの公開先 | 著者が匿名化されたリポジトリで公開しています（論文のデータ公開の節に記載）。動画そのものは載せず、動画の識別子とメタデータのみです |
論文はこちらで読めます。arXiv（2604.00944）、DOI。
この論文が答えた問い
動画を引用元として示すAI検索は、その動画に書かれていること（言っていること）で、自分の主張を支えているのか。支えられていない主張は、どのくらいあり、どんな形をしているのか。
背景として論文は、引用が「確かめられる参考」というより、「信頼の合図」として働くと指摘します。文章のページなら、引用箇所を探すのは数秒で済みます。
一方、長い動画の中から該当の発言を探すのは、現実にはほとんどの人がやらない作業だからです。
なお、論文自身が「動画のほうが文章より正確か不正確か」という比較をしたわけではないと断っています。調べたのは、動画を引用元にしたときの信頼性そのものです。
どうやって調べたのか
流れは3段階です。まず、Gemini 2.5 Proに質問を送り、YouTube動画を引用した主張を出させます。
次に、その動画の書き起こしなどを自分たちで集めます。最後に、3つのAIが「この主張は、この動画で裏づけられるか」を判定します。
| 項目 | 内容 |
|---|---|
| 調べたAI検索 | Gemini 2.5 Pro（動画を検索して引用するモデル）。調査の実施日は、論文に書かれていません |
| 質問の出どころ | 医療1,000問、経済109問、一般1,000問。いずれも既存のデータセットから抽出しています。論文は質問の言語を明記していません |
| 分析した単位 | 主張と動画の組が11,943件（医療7,084、経済779、一般4,080）。60文字未満の主張や、複数の動画を引用した主張は除外しています |
| 判定の根拠にした情報 | 音声の自動書き起こし（Whisper）、動画の題名、説明文、投稿日。映像は見ていません |
| 審査員（AI） | Gemini 3 Flash、Grok 4.1 Fast、GPT-5.2。同じ指示文で、温度0で判定 |
| 判定の区分 | 「裏づけあり」か「裏づけなし」。裏づけなしは、矛盾、言い過ぎ、控えめすぎ、検証不能、時期のずれなどに細分 |
| 審査員同士の一致率 | 全体で87.7%（医療88.9%、経済91.1%、一般85.0%） |
ここで大事なのは、「裏づけなし」の意味です。これは「主張が事実として間違っている」ことを指しません。
引用された動画の文字情報の中に、その主張を支える内容が見つからなかった、という判定です。
また、審査したのは人間ではなくAIです。論文は、審査員の判定を人間の判断と照らして確かめています。
その結果は、結果の章で紹介します。
結果
裏づけなしの割合：審査員で大きく変わる
次の表は、各審査員が「裏づけなし」と判定した主張の割合です（論文のFigure 4）。
| 領域（件数） | Gemini 3 Flash | Grok 4.1 Fast | GPT-5.2 |
|---|---|---|---|
| 経済（779件） | 5.5% | 5.1% | 12.2% |
| 一般（4,080件） | 6.0% | 6.5% | 18.7% |
| 医療（7,084件） | 3.8% | 3.7% | 13.3% |
- 最も緩い2つの審査員でも、割合は3.7%〜6.5%でした。一般領域では、GPT-5.2が約5件に1件（18.7%）を裏づけなしとしています
- GPT-5.2の割合は、他の2つの約2倍から3.6倍です（私の概算。医療で13.3%÷3.7%、一般で18.7%÷6.0%などから計算）。論文本文は「2〜3倍」と書いています
- この差の理由を、論文は審査員の基準の違いだと説明します。GPT-5.2は「言い過ぎ」の基準が厳しいと述べています
- 医療領域で緩い2つの審査員が出した数は、272件と262件（7,084件中）です
ここで読み取れるのは、「何%が間違い」という1つの数字は、審査員を決めた時点で変わる、ということです。論文は、3つの審査員の結果を並べて、その曖昧さを隠さずに示しています。
失敗の種類：矛盾より、細部の追加と言い過ぎ
次の表は、「裏づけなし」と判定された主張の内訳です（論文のTable 2）。
| 審査員 | 検証不能（動画に出てこない細部） | 言い過ぎ | 矛盾 |
|---|---|---|---|
| Gemini 3 Flash | 58.1% / 70.8% / 82.0% | 7.0% / 6.2% / 8.8% | 16.3% / 18.9% / 7.7% |
| Grok 4.1 Fast | 67.5% / 75.0% / 81.7% | 17.5% / 11.4% / 11.1% | 15.0% / 13.6% / 7.3% |
| GPT-5.2 | 24.2% / 30.3% / 28.2% | 65.3% / 60.3% / 66.2% | 10.5% / 9.0% / 4.1% |
各セルは、「経済 / 一般 / 医療」の順で、裏づけなしと判定された主張に占める割合です。原文の表には、時期のずれ（経済でGemini 3 Flashが14.0%）や、控えめすぎる主張の行もあり、ここでは主な3種類だけを抜き出しました。
この表で分かるのは、緩い2つの審査員は「動画に出てこない細部（正確な日付、数字、名前）」を、厳しい審査員は「言い過ぎ」を、主な失敗として挙げた、ということです。
論文は、前者を「具体性の幻覚」と呼びます。AIがもともと持つ知識から、正確そうな細部を足している可能性があるという読みです。
ただし、論文自身が内部の仕組みは調べられないと述べており、これは推測です。
矛盾（動画の内容と食い違うことを言う）は、各審査員の最も多い区分（検証不能または言い過ぎ）に比べると少数でした。論文は、多数を占める検証不能や言い過ぎのほうが、読者に気づかれにくいと指摘します。
正確な数字や固有名詞が入った主張は、むしろ権威があるように聞こえるからです。
人間との照合
論文は、審査員の判定を、2人の人間の注釈者が付けた結果と比べました。
- 注釈者2の101件（裏づけあり・なしがほぼ半々）では、3つの審査員の一致率は90.1%〜95.0%でした
- 注釈者1の102件では、80.4%〜90.2%に下がります。GPT-5.2は、人間が「裏づけあり」とした12件を「なし」と判定しました。論文は、これを「言い過ぎ」の基準の厳しさだと読んでいます
- 2人が共通で付けた49件の一致は87.8%でした
- 確認に使った2つの標本は、Gemini 3 Flashの判定で「裏づけあり」と「なし」が同数になるよう選んだものです。このため、一致率は審査員の全体の精度ではなく、この標本での値です
どんな主張が裏づけを取れないのか（回帰分析）
論文は、審査とは別の段階で、主張と書き起こしの特徴を数値にし、ロジスティック回帰という統計手法で「裏づけなし」との関係を調べました。論文自身が「探索的な分析」と位置づけています。
| 特徴 | 裏づけなしとの関係 | 係数（ベータ）の範囲（9つのモデル） |
|---|---|---|
| 名詞の重なり（主張の名詞が動画の文字情報にそのまま出てくる割合） | 多いほど、裏づけなしが減る | -1.646〜-3.066（すべてp<0.01） |
| 主張と書き起こしの意味の近さ | 近いほど、裏づけなしが減る（最も強い要因） | -2.1〜-11.6（論文の要約による） |
| 主張の長さ（語数） | 長いほど、裏づけなしが増える | 正の値。全領域で有意 |
| 動画の題名との近さ | 一貫した関係は見られない | 弱く、不安定 |
- 名詞の重なりと意味の近さは、互いに独立した2つの目印として働いていると、論文は述べています
- 両方が低い主張に、裏づけなしの割合が集中していました
- モデルの説明力（疑似R2）は、0.05〜0.20ほどです。論文は、特徴だけでは結果の一部しか説明できないと認めています
映像を足した補足実験
本分析は文字情報だけで判定しているため、映像にだけ出る内容は「検証不能」になります。そこで論文は、1,028組の標本を使い、Gemini 3 Flashに映像も与えて再判定しました。
標本は、裏づけあり・なしがほぼ半々になるよう選んでいます。論文は、この標本は無作為に選んだものではないため、結果を全体の割合として読んではいけないと断っています。
エラーを除いた997組のうち、62.6%（624組）が「裏づけあり」になりました。元の半々の想定からの上積みは、約125組分です。
つまり、映像を足しても、裏づけなしの大半は残りました。
論文自身が書いている限界
- モデルの内部は見えないため、動画の選び方の失敗か、主張の作り方の失敗かは区別できません
- 動画を検索して引用するAIはこのモデルしか確認できなかったため、他のサービスは別の結果になりうると述べています
- 文字情報だけの判定なので、映像で示された内容は見落とされます。映像が追加の根拠になったのは、約16%の判定でした
- 名詞の重なりは文字列の完全一致で測っており、「心臓発作」と「心停止」のような言い換えは拾えません
- 審査員の3つに、共通の偏りがある可能性があります。うち1つは、調べたモデルと同じ系列のモデルです
- 回帰は関係を示すだけで、原因は示しません
原文を読んで気づいた点
- 判定はすべてAIによるものです。人間が確かめたのは、全体のうちの203件に限られます
- 調査時点が書かれていません。モデルは更新されるため、Gemini 2.5 Proの数字が今も当てはまるとは限りません。論文は2026年4月公開、5月改訂です
- 質問の言語は論文に書かれていません。元のデータセットは英語圏のものとみられ、日本語での検証は、この論文にはありません
- 人間による確認の数字が、本文で食い違っています。限界の節は「49件の確認」と書く一方、Table 1は102件と101件を使っています。論文末尾のデータ公開の節は、203件の注釈と説明しており、こちらは2つの標本と合います
- 本文の一部の説明は、表の数字と合いません。最も緩い審査員でも「20件に1件〜15件に1件」と書かれますが、医療の3.7%〜3.8%は約26〜27件に1件です。この文が当てはまるのは、経済と一般です
- 医療の主張は、固有名詞をほとんど含みません。79.2%に固有名詞がないため、固有名詞の指標は医療では効果を検出できていません
- 査読を経たかどうかは未確認です。データ公開先も匿名化されたままで、再現の確認はこちらではしていません
この論文から、言えること・言えないこと
| 言えること | 言えないこと |
|---|---|
| この条件で、AI審査員は、一定の割合の主張を「引用動画の文字情報では裏づけられない」と判定した | その主張が事実として間違っている |
| 失敗の主な形は、細部の追加と言い過ぎだった（審査員の分類による） | AIが細部を作り出す仕組みの説明 |
| 主張が書き起こしの言葉・意味から離れるほど、裏づけなしの傾向が強かった | 言葉を寄せれば裏づけが取れるようになる、という因果 |
| 審査員を替えると、割合は数倍変わる | 真の誤り率が3.7%〜18.7%のどこにある、という断定 |
| Gemini 2.5 Proの、この質問セットでの結果 | 他のAI検索や日本語、動画以外の引用での結果 |
中小企業の視点で、どう受け取るか
ここからは論文の主張とは別の、私の読み取りです。
1. AIの回答に付いた引用は、中身を確かめる入口として扱う。論文の結果は、引用がある回答でも、裏づけの取れない部分が一定数あり得ることを示します。
自社のことをAIが説明している場面でも、数字や固有名詞が正しいかは、自分の目で確かめる必要があります。
2. 自社の動画を作るなら、数字や名前を話し言葉でも書き起こしでも明確に出す。論文は、書き起こしと言葉や意味が近い主張ほど、裏づけが取れる傾向を示しました。
ただし、これは相関です。動画をこう作れば引用が正確になる、という実験は、論文に含まれていません。
3. 説明文や概要欄にも、動画で話した要点を文字で残す。審査では、題名・説明文・書き起こしが根拠でした。
文字情報が充実していれば、読む側もAIも、内容を確かめやすくなると考えられます。効果の大きさは、この論文では分かりません。
4. 数字を見るときは、誰が判定したのかを確かめる。この論文の3.7%〜18.7%は、AIが審査した値です。
日本の事業者が自社の状況を判断するときは、判定の基準と実施時点を、まず確認したいところです。
よくある質問
動画を引用したAI検索の監査は、AIの回答の約2割が間違いという意味ですか
いいえ。2割に近い数字（18.7%）は、最も厳しいAI審査員が、一般領域で「引用動画の文字情報では裏づけがない」と判定した割合です。
事実として間違っていたという意味とは異なります。審査員を替えると、同じデータで3.7%〜6.5%まで下がります。
Auditing the Reliability of Multimodal Generative Searchの結果は、他のAI検索にも当てはまりますか
論文は、調べたのはGemini 2.5 Proの1つだけだと述べています。他のAI検索は、別の結果になりうると書いています。
また、質問は英語とみられ（論文は言語を明記していません）、日本語の検証はありません。
動画の書き起こしと主張の距離が離れるほど裏づけなしが増えるという結果は、動画づくりに使えますか
論文は、この結果が相関であり、原因を確かめたものではないと明記しています。動画の内容を書き起こしに残すことは、確かめやすさのために有益だと私は考えます。
ただし、その効果の大きさは、この論文からは分かりません。
まとめ：今日できる1つのこと
自社名や自社サービスについて、AIが動画を引用して答えている回答を1つ探し、引用された動画を実際に開いて、回答の数字や固有名詞が動画の中にあるかを確かめてみてください。
確かめた結果は、メモに残しておきましょう。AIの引用が、どの程度当てになるかを、自分の目で測る第一歩になります。
この論文は、LLMO論文の一覧の一本です。ほかの論文の解説も、順次公開しています。
この記事に書いたことを、そのまま御社のページに
生成AIに引用されるページを、お話しいただくだけでお作りします。お時間をいただくのは初回15分のヒアリングだけです。まず1ページ、無料でお作りします。
OKが出るまで、何度でも直します。事実が違う、言い回しが硬い、この話は入れないでほしい。どれも遠慮なくおっしゃってください。何度お直ししても、追加の料金はいただきません。
これまでに127社にご利用いただきました。毎月ご依頼いただいている方の6割以上が、月10ページを選ばれています。料金はページに掲載しています。
ページを増やしても問い合わせが来ないなら、原因はページの外にあります。その場合は、下の入口からご相談ください。
自社のマーケティング課題を根本から解決しませんか？
ウェブサイトから要素を引き算し、訪れた人が迷わず次の一歩に進む形へ組み直す。初回60分のオンラインで御社のサイトを一緒に読み、どこから直すべきかをお伝えします。手順をまとめた無料の診断と解説動画もご用意しています。
初回は無料・60分・オンライン完結・その場で契約のお願いはいたしません
