【LLMO論文解説】AIの引用URLの3〜13%は保存記録がなく5〜18%は開けない｜10モデルの実測と確認ツールの効果（プレプリント）

AIが回答に付ける出典URLは、本当に存在するのでしょうか。2026年4月3日にarXivへ公開された論文「Detecting and Correcting Reference Hallucinations in Commercial LLMs and Deep Research Agents」は、商用の検索つきAIとディープリサーチ型のAIが挙げたURLを、大量に実際に開いて確かめています。

この記事では、論文を原文から読み、何を測り、何が分かり、何が分かっていないのかを整理します。数値は論文の表と本文から拾い、私が計算した値には「概算」と付けます。

合同会社謙虚は、3つのドメインを並行して運用し、何を変えると数字が動くかを測り続けています。この論文は、AIが示す出典URLのうち実在しないものや開けないものの割合を測り、確認ツールで減らせるかまで試しているため、AIの出典をどう扱うかを考える材料になります。

結論：3行で言うと

• 10のモデルとエージェントが挙げたURLのうち、3.0〜13.3%は過去の保存記録すら見つからず、5.4〜18.5%は開けませんでした。検索つきのAIでも、最初から存在しなかった可能性が高いURLが一定の割合で含まれていました
• 最も高かったのはGemini 2.5 Proのディープリサーチ型で、保存記録のないURLが13.3%でした。ただしOpenAIのディープリサーチ型は3.5%で、ディープリサーチ型が一律に高いとは言えません
• URL確認ツールをAIに使わせると、論文本文の数値では、最終回答で開けないURLが3つのモデルで6〜79倍減り、1%未満になりました。表3から足し合わせるとGPT-5.1は2.4%になり、本文と食い違います（後述）。小さなモデルでは、ツールを呼んでも結果を使いこなせませんでした

この研究が測ったのは、URLが存在するかどうかです。ページの内容がAIの主張を裏づけているかは、測っていません。

この論文の基本情報

論文はこちらで読めます。arXiv（2604.03173）、DOI。

この論文が答えた問い

AIが出典として挙げるURLのうち、どれだけが存在せず、どれだけが昔あったページの消失で、確認ツールを使わせれば減らせるのか。

検索つきのAIやディープリサーチ型のAIは、回答に出典URLを付けます。利用者はそれを証拠として扱いますが、URLが実在するかどうかを大規模に測った研究は、これまで見当たらないと論文は述べています。

論文は、次の6つの問いに分けて調べました。

• 引用URLの失敗は、どれくらいの割合か
• ディープリサーチ型は、検索つきAIと比べてどうか
• 学問分野によって差があるか
• 失敗は作り話と、リンク切れ（昔あったページの消失）のどちらが多いか
• 引用の数が多いと、1件ごとの信頼性は上がるか
• 生成後にURLを確認すれば、失敗を減らせるか

どうやって調べたのか

URLを3種類に分ける

論文は、開けないURLを次のように分けます。

• 到達できないURL：HTTPのエラー（4xx・5xx）か、接続に失敗したもの。ただし、自動アクセスを拒む応答（403）は除きます
• 保存記録のないURL：到達できず、かつ、Wayback Machine（過去のウェブページを保存する公開アーカイブ）に1件も保存記録がないもの。論文は「ハルシネーションURL」と呼び、最初から存在しなかった可能性が高いと見なします
• 消えたURL：到達できないが、保存記録はあるもの。かつては存在したページです

使ったデータ

確認ツールの評価は、ExpertQAの435問（全体の約20%の無作為標本）で行いました。AIがURLを出し、ツールで確かめ、直す、という往復を繰り返させる実験です。

URLを確かめた日付は、原文に書かれていません。

結果

結果1：DRBenchの10モデル

出典は論文の表2です。「消えた」は、到達できない割合から保存記録なしの割合を引いた値で、論文も同じ式で出しています。

• 保存記録のないURLは3.0%（Claude 3.5 Sonnet）から13.3%（Gemini 2.5 Proのディープリサーチ型）でした。URL数が少ないモデルは、95%区間が広くなります
• GPT系の4モデルは、開けないURLがすべて保存記録のないURLでした。論文は、検索結果に基づかないURLの生成と整合的だとしつつ、内部の仕組みは確認できないと述べています
• OpenAIのディープリサーチ型は、開けないURLの約65%が消えたURLでした。実在したページが後から消えた形です
• ディープリサーチ型の2つを合算すると、保存記録なしは10.7%、検索つき8モデルの合算は4.8%でした。1回の質問あたりのURL数は、Gemini 2.5 Proのディープリサーチ型が113.1件、OpenAIのディープリサーチ型が41.2件、検索つきモデルが3.0〜24.3件です

結果2：学問分野で差がある（ExpertQA）

ExpertQAでは、3モデルの合計168,021件のうち、到達できないURLは8.22%でした。モデル別では、GPT-5.1が8.47%（1問あたり46.4件）、Claude Sonnet 4.5が9.38%（28.3件）、Gemini 2.5 Proが4.20%（10.7件）です。

出典は論文の付録の表7で、到達できないURLの割合です。全32分野のうち、上位と下位を抜き出しました。

• 分野全体では、5.4%（経営）から11.4%（神学）まで、約2倍の差がありました。論文は、内容が変わりやすい分野や専門的な分野が上位、安定した主流の分野が下位だと推測として説明しています
• Claude Sonnet 4.5は、4.0%（数学）から17.4%（医療・健康）まで、約4.3倍の差がありました
• 引用が多いほど信頼できるとは限りませんでした。GPT-5.1はGemini 2.5 Proの約4.3倍のURLを出し、到達できない割合は約2倍でした

結果3：確認ツールを使わせると減る

出典は論文の表3です。判定不能は、アクセス拒否や遅延などで、ツールが白黒を付けられなかったURLです。

• 本文は、到達できないURLの割合が、GPT-5.1で16.0%から0.6%（26倍）、Gemini 2.5 Proで6.1%から0.1%（79倍）、Claude Sonnet 4.5で4.9%から0.8%（6.4倍）に下がったと述べます。本文の値では3モデルとも1%未満です（表3の合計とは食い違います。後述）
• 判定不能のURLは、別の調査（ExpertQAの初回回答で判定不能だったURLの標本）で約89%が実際には生きているか、アクセスを遮られているだけでした。600件の標本を、実際のブラウザ相当の環境で再確認した結果です
• 小さなモデルでは効きませんでした。予備実験のGPT-5 nanoは、ツールを呼んでも結果を活かさず、最終回答で「開かない」と判定されたURLが7.5%残りました（GPT-5.1は0.6%）

論文自身が書いている限界

• Wayback Machineは全ウェブを保存していません。保存記録の有無で判定するため、ハルシネーションURLの数字は近似です
• URLが開くかどうかは、確認した時点の測定です。別の時点なら変わりえます
• 自動アクセスの拒否や回数制限による誤判定があります。論文は403を除くなどで対処し、到達できない割合は実際より低めに出る下限の値だと位置づけています
• 評価は3つの提供元の2つのベンチマークで、英語が中心です。ほかのモデルや言語に当てはまるとは限りません
• DRBenchは先行研究が集めた出力を使い、モデルの再実行はしていません。質問の言い回しやAPIの版の違いは制御できていません
• ExpertQAで試したモデルは、費用の制約で3つだけです
• 作り話の引用文や、実在しない書誌情報（存在しないDOIなど）は、URL以外の失敗として、数えていません
• 言語の違いによる影響は、体系的に調べていません

原文を読んで気づいた点

• 査読と日本語：査読中のプレプリントです。日本語の質問は使われておらず、日本のサイトへの当てはまりは確認されていません
• 自動判定が中心：判定はHTTP応答とアーカイブ照会による自動処理です。人手の確認はRedditの抜き取りだけです。判定不能の600件の再確認も、画面を持たない自動ブラウザによる処理です
• 実サービスとの差：DRBenchは先行研究の出力で、ExpertQAは著者がAPIで学術的な出典を求めて集めたものです。一般向けのチャット画面とは条件が異なる可能性があります
• モデルの世代が混ざっています。DRBenchはClaude 3.5と3.7、GPT-4o・4.1の世代、ExpertQAはClaude Sonnet 4.5とGPT-5.1です。別のデータなので、新しいほど正確になった、とは読めません
• ディープリサーチ型が高いという比較は、1つのエージェントに強く引かれています。表1から、2つの合計15,430件のうち約73%（概算 11,309÷15,430）がGemini 2.5 Proのディープリサーチ型です。OpenAIのディープリサーチ型の3.5%は、検索つき8モデルの合算4.8%より低い値です
• URL数の食い違い：要旨は、DRBenchのURLを53,090件とします。表1の10モデルを足すと23,269件（概算）です。差の説明は原文にありません
• 本文と表3の食い違い：確認後の到達できない割合は、本文ではClaudeが0.8%、Geminiが0.1%、GPT-5.1が0.6%です。表3の「消えた」と「保存記録なし」の合計は、0.5%、0.7%、2.4%（概算）で、同じ値になりません。算出の条件が違う可能性がありますが、原文には説明がありません。訂正前の値（GPT-5.1 16.0%、Gemini 6.1%、Claude 4.9%）も、4.1節の8.47%、4.20%、9.38%とは違います。論文は、訂正の前後を同じ435問・同じ分類で比べたと書いています。また、表示値で割ると合わない倍率もあります（Claudeは4.9÷0.8で約6.1、Geminiは6.1÷0.1で61）
• 除外された13モデル：23モデルのうち13を除いています。うち3つは、保存記録なしが100%でした。実際の検索をしていない可能性があるとの理由で外れており、3〜13%という幅には含まれません
• Redditの扱い：GPT-5.1のURLの18.2%はRedditで、全部を「生きている」として数えています。すべて到達不可と見なす最悪の場合、GPT-5.1の数字は8.47%から26.71%になります

この論文から、言えること・言えないこと

中小企業の視点で、どう受け取るか

ここからは、論文の主張とは別の、私の読み取りです。

• AIが示した出典URLは、公開前に1本ずつ開いて確かめる。論文では、検索つきでも3〜13%に保存記録がありませんでした。AIの下書きや調査結果を記事に使う場合は、URLを開く工程を置くのが堅実です（確度は強め。ただし日本語での割合は未確認）
• URLが開いても、内容が合っているとは限りません。この論文が確かめたのは存在だけです。数字や主張は、開いたページの本文で照らし合わせます
• 自社サイトのURLがAIに誤って案内されていないか、見ておく価値があります。論文は自社サイトの扱いを調べていません。アクセスログやGA4で、存在しないURLへの訪問と流入元を見る方法が考えられますが、これは未検証の着想です（確度は弱め）
• 医療や学術的な分野は、AIの出典をとくに慎重に扱う。Claude Sonnet 4.5では、医療・健康の分野で17.4%が到達できませんでした。ただし、これは英語の専門質問での結果です

よくある質問

AIの引用URLのハルシネーションとは、何のことですか

この論文では、到達できないURLのうち、Wayback Machineに1件も保存記録がないものを指します。最初から存在しなかった可能性が高いURLです。

アーカイブに保存されていないだけの実在ページも混ざりうるため、論文は近似の値として扱っています。

ディープリサーチ型のAIは、検索つきのAIよりURLを間違えやすいのですか

合算すると、ディープリサーチ型のほうが保存記録のないURLの割合は高く出ています（10.7%対4.8%）。

ただし、OpenAIのディープリサーチ型は3.5%で、合算を押し上げているのはGemini 2.5 Proのディープリサーチ型です。この論文だけでは、型の違いが原因とは言い切れません。

引用URLが実在すれば、AIの主張は裏づけられていると言えますか

言えません。この論文が測ったのは、URLが存在するかどうかです。

ページの内容が、AIの書いた文を支えているかどうかは、別の確認が必要です。論文も、既存の指標は支えを測るもので、存在を測っていないと位置づけています。

まとめ：今日できる1つのこと

直近でAIの助けを借りて作った記事や資料から、出典URLを1本選び、公開前にすべてブラウザで開いてください。開けないものは外し、開けるものは本文が主張と合っているかを確かめます。

この論文は、LLMO論文の一覧の一本です。ほかの論文の解説も、順次公開しています。

ページを増やしても問い合わせが来ないなら、原因はページの外にあります。その場合は、下の入口からご相談ください。