MENU
  • 料金
  • 会社案内
  • コンサル
  • お問い合わせ
  • 無料で1ページ頼む
AIO・LLMO・GEO対策の記事制作
合同会社謙虚
  • 料金
  • 会社案内
  • コンサル
  • お問い合わせ
  • 無料で1ページ頼む
  • 料金
  • 会社案内
  • コンサル
  • お問い合わせ
  • 無料で1ページ頼む
合同会社謙虚
  • 料金
  • 会社案内
  • コンサル
  • お問い合わせ
  • 無料で1ページ頼む
  1. ホーム
  2. LLMO
  3. LLMO論文
  4. 【LLMO論文解説】AIの引用URLの3〜13%は保存記録がなく5〜18%は開けない|10モデルの実測と確認ツールの効果(プレプリント)

【LLMO論文解説】AIの引用URLの3〜13%は保存記録がなく5〜18%は開けない|10モデルの実測と確認ツールの効果(プレプリント)

2026 11/06
2026年11月6日
中野輝規
AIの引用URLの3〜13%は保存記録がなく5〜18%は開けない

AIが回答に付ける出典URLは、本当に存在するのでしょうか。2026年4月3日にarXivへ公開された論文「Detecting and Correcting Reference Hallucinations in Commercial LLMs and Deep Research Agents」は、商用の検索つきAIとディープリサーチ型のAIが挙げたURLを、大量に実際に開いて確かめています。

この記事では、論文を原文から読み、何を測り、何が分かり、何が分かっていないのかを整理します。数値は論文の表と本文から拾い、私が計算した値には「概算」と付けます。

合同会社謙虚は、3つのドメインを並行して運用し、何を変えると数字が動くかを測り続けています。この論文は、AIが示す出典URLのうち実在しないものや開けないものの割合を測り、確認ツールで減らせるかまで試しているため、AIの出典をどう扱うかを考える材料になります。

目次

結論:3行で言うと

  • 10のモデルとエージェントが挙げたURLのうち、3.0〜13.3%は過去の保存記録すら見つからず、5.4〜18.5%は開けませんでした。検索つきのAIでも、最初から存在しなかった可能性が高いURLが一定の割合で含まれていました
  • 最も高かったのはGemini 2.5 Proのディープリサーチ型で、保存記録のないURLが13.3%でした。ただしOpenAIのディープリサーチ型は3.5%で、ディープリサーチ型が一律に高いとは言えません
  • URL確認ツールをAIに使わせると、論文本文の数値では、最終回答で開けないURLが3つのモデルで6〜79倍減り、1%未満になりました。表3から足し合わせるとGPT-5.1は2.4%になり、本文と食い違います(後述)。小さなモデルでは、ツールを呼んでも結果を使いこなせませんでした

この研究が測ったのは、URLが存在するかどうかです。ページの内容がAIの主張を裏づけているかは、測っていません。

この論文の基本情報

項目 内容
原題 Detecting and Correcting Reference Hallucinations in Commercial LLMs and Deep Research Agents
著者 Delip Rao、Eric Wong、Chris Callison-Burch(3人。所属は米国のペンシルベニア大学)
公開日 2026年4月3日(初版v1)
arXiv番号 2604.03173(分野はcs.CL、計算言語学)。25ページ
掲載・採択状況 arXivのプレプリントです。原文の冒頭に「Preprint. Under review.」とあり、査読中の段階です。学会や論文誌への採択の記載は見つかりませんでした
種類 大規模な実測(URLの検証)と、検証ツールの提案・評価
実験データ・コードの公開先 著者は、確認ツール「urlhealth」と実験データをMITライセンスで公開するとしています。原文には公開先のURLが書かれておらず、確認できませんでした

論文はこちらで読めます。arXiv(2604.03173)、DOI。

この論文が答えた問い

AIが出典として挙げるURLのうち、どれだけが存在せず、どれだけが昔あったページの消失で、確認ツールを使わせれば減らせるのか。

検索つきのAIやディープリサーチ型のAIは、回答に出典URLを付けます。利用者はそれを証拠として扱いますが、URLが実在するかどうかを大規模に測った研究は、これまで見当たらないと論文は述べています。

論文は、次の6つの問いに分けて調べました。

  • 引用URLの失敗は、どれくらいの割合か
  • ディープリサーチ型は、検索つきAIと比べてどうか
  • 学問分野によって差があるか
  • 失敗は作り話と、リンク切れ(昔あったページの消失)のどちらが多いか
  • 引用の数が多いと、1件ごとの信頼性は上がるか
  • 生成後にURLを確認すれば、失敗を減らせるか

どうやって調べたのか

URLを3種類に分ける

論文は、開けないURLを次のように分けます。

  • 到達できないURL:HTTPのエラー(4xx・5xx)か、接続に失敗したもの。ただし、自動アクセスを拒む応答(403)は除きます
  • 保存記録のないURL:到達できず、かつ、Wayback Machine(過去のウェブページを保存する公開アーカイブ)に1件も保存記録がないもの。論文は「ハルシネーションURL」と呼び、最初から存在しなかった可能性が高いと見なします
  • 消えたURL:到達できないが、保存記録はあるもの。かつては存在したページです

使ったデータ

項目 DRBench ExpertQA
質問 100問(中国語と英語。金融・科学・技術) 2,177問(英語。32の学問・専門分野)
回答の出どころ 先行研究が集めた23モデルの出力から、論文が10を選んで分析 著者が3モデルのAPIで回答を生成
URL数 表1の合計は23,269件(私の足し算による概算) 168,021件
モデル Gemini 2.5 ProとFlashの検索つき、Gemini 2.5 Proのディープリサーチ型、OpenAIのディープリサーチ型、GPT-4oの検索プレビュー2種、GPT-4.1とmini、Claude 3.5 Sonnetと3.7 Sonnetの検索つき Claude Sonnet 4.5、Gemini 2.5 Pro、GPT-5.1
確認の方法 各URLに接続の確認要求を送り、エラーなら保存記録を照会。自動判定

確認ツールの評価は、ExpertQAの435問(全体の約20%の無作為標本)で行いました。AIがURLを出し、ツールで確かめ、直す、という往復を繰り返させる実験です。

URLを確かめた日付は、原文に書かれていません。

結果

結果1:DRBenchの10モデル

モデル URL数 到達できない(%) 保存記録なし(%) 消えた(%)
Claude 3.5 Sonnet(検索つき) 641 7.8 3.0 4.8
Claude 3.7 Sonnet(検索つき) 1,735 8.5 3.2 5.2
OpenAIディープリサーチ型 4,121 10.1 3.5 6.6
Gemini 2.5 Flash(検索つき) 2,433 5.4 4.6 0.8
Gemini 2.5 Pro(検索つき) 1,609 5.9 4.8 1.1
GPT-4.1 336 5.4 5.4 0.0
GPT-4.1 mini 296 7.4 7.4 0.0
GPT-4o 検索プレビュー 387 8.8 8.8 0.0
GPT-4o mini 検索プレビュー 402 8.7 8.7 0.0
Gemini 2.5 Proディープリサーチ型 11,309 18.5 13.3 5.2

出典は論文の表2です。「消えた」は、到達できない割合から保存記録なしの割合を引いた値で、論文も同じ式で出しています。

  • 保存記録のないURLは3.0%(Claude 3.5 Sonnet)から13.3%(Gemini 2.5 Proのディープリサーチ型)でした。URL数が少ないモデルは、95%区間が広くなります
  • GPT系の4モデルは、開けないURLがすべて保存記録のないURLでした。論文は、検索結果に基づかないURLの生成と整合的だとしつつ、内部の仕組みは確認できないと述べています
  • OpenAIのディープリサーチ型は、開けないURLの約65%が消えたURLでした。実在したページが後から消えた形です
  • ディープリサーチ型の2つを合算すると、保存記録なしは10.7%、検索つき8モデルの合算は4.8%でした。1回の質問あたりのURL数は、Gemini 2.5 Proのディープリサーチ型が113.1件、OpenAIのディープリサーチ型が41.2件、検索つきモデルが3.0〜24.3件です

結果2:学問分野で差がある(ExpertQA)

ExpertQAでは、3モデルの合計168,021件のうち、到達できないURLは8.22%でした。モデル別では、GPT-5.1が8.47%(1問あたり46.4件)、Claude Sonnet 4.5が9.38%(28.3件)、Gemini 2.5 Proが4.20%(10.7件)です。

分野 全体(%) Claude Sonnet 4.5 Gemini 2.5 Pro GPT-5.1
神学 11.4 11.3 10.2 11.7
古典学 11.1 7.1 7.6 13.8
医療・健康 10.8 17.4 5.3 7.1
経営 5.4 5.0 3.0 6.6

出典は論文の付録の表7で、到達できないURLの割合です。全32分野のうち、上位と下位を抜き出しました。

  • 分野全体では、5.4%(経営)から11.4%(神学)まで、約2倍の差がありました。論文は、内容が変わりやすい分野や専門的な分野が上位、安定した主流の分野が下位だと推測として説明しています
  • Claude Sonnet 4.5は、4.0%(数学)から17.4%(医療・健康)まで、約4.3倍の差がありました
  • 引用が多いほど信頼できるとは限りませんでした。GPT-5.1はGemini 2.5 Proの約4.3倍のURLを出し、到達できない割合は約2倍でした

結果3:確認ツールを使わせると減る

最終回答のURL Claude Sonnet 4.5 Gemini 2.5 Pro GPT-5.1
URL総数 7,985 4,203 4,829
開く(%) 79.3 88.9 78.0
消えた(%) 0.1 0.2 0.6
保存記録なし(%) 0.4 0.5 1.8
判定不能(%) 20.2 10.3 19.7
訂正の往復の平均回数 4.06 1.56 2.52

出典は論文の表3です。判定不能は、アクセス拒否や遅延などで、ツールが白黒を付けられなかったURLです。

  • 本文は、到達できないURLの割合が、GPT-5.1で16.0%から0.6%(26倍)、Gemini 2.5 Proで6.1%から0.1%(79倍)、Claude Sonnet 4.5で4.9%から0.8%(6.4倍)に下がったと述べます。本文の値では3モデルとも1%未満です(表3の合計とは食い違います。後述)
  • 判定不能のURLは、別の調査(ExpertQAの初回回答で判定不能だったURLの標本)で約89%が実際には生きているか、アクセスを遮られているだけでした。600件の標本を、実際のブラウザ相当の環境で再確認した結果です
  • 小さなモデルでは効きませんでした。予備実験のGPT-5 nanoは、ツールを呼んでも結果を活かさず、最終回答で「開かない」と判定されたURLが7.5%残りました(GPT-5.1は0.6%)

論文自身が書いている限界

  • Wayback Machineは全ウェブを保存していません。保存記録の有無で判定するため、ハルシネーションURLの数字は近似です
  • URLが開くかどうかは、確認した時点の測定です。別の時点なら変わりえます
  • 自動アクセスの拒否や回数制限による誤判定があります。論文は403を除くなどで対処し、到達できない割合は実際より低めに出る下限の値だと位置づけています
  • 評価は3つの提供元の2つのベンチマークで、英語が中心です。ほかのモデルや言語に当てはまるとは限りません
  • DRBenchは先行研究が集めた出力を使い、モデルの再実行はしていません。質問の言い回しやAPIの版の違いは制御できていません
  • ExpertQAで試したモデルは、費用の制約で3つだけです
  • 作り話の引用文や、実在しない書誌情報(存在しないDOIなど)は、URL以外の失敗として、数えていません
  • 言語の違いによる影響は、体系的に調べていません

原文を読んで気づいた点

  • 査読と日本語:査読中のプレプリントです。日本語の質問は使われておらず、日本のサイトへの当てはまりは確認されていません
  • 自動判定が中心:判定はHTTP応答とアーカイブ照会による自動処理です。人手の確認はRedditの抜き取りだけです。判定不能の600件の再確認も、画面を持たない自動ブラウザによる処理です
  • 実サービスとの差:DRBenchは先行研究の出力で、ExpertQAは著者がAPIで学術的な出典を求めて集めたものです。一般向けのチャット画面とは条件が異なる可能性があります
  • モデルの世代が混ざっています。DRBenchはClaude 3.5と3.7、GPT-4o・4.1の世代、ExpertQAはClaude Sonnet 4.5とGPT-5.1です。別のデータなので、新しいほど正確になった、とは読めません
  • ディープリサーチ型が高いという比較は、1つのエージェントに強く引かれています。表1から、2つの合計15,430件のうち約73%(概算 11,309÷15,430)がGemini 2.5 Proのディープリサーチ型です。OpenAIのディープリサーチ型の3.5%は、検索つき8モデルの合算4.8%より低い値です
  • URL数の食い違い:要旨は、DRBenchのURLを53,090件とします。表1の10モデルを足すと23,269件(概算)です。差の説明は原文にありません
  • 本文と表3の食い違い:確認後の到達できない割合は、本文ではClaudeが0.8%、Geminiが0.1%、GPT-5.1が0.6%です。表3の「消えた」と「保存記録なし」の合計は、0.5%、0.7%、2.4%(概算)で、同じ値になりません。算出の条件が違う可能性がありますが、原文には説明がありません。訂正前の値(GPT-5.1 16.0%、Gemini 6.1%、Claude 4.9%)も、4.1節の8.47%、4.20%、9.38%とは違います。論文は、訂正の前後を同じ435問・同じ分類で比べたと書いています。また、表示値で割ると合わない倍率もあります(Claudeは4.9÷0.8で約6.1、Geminiは6.1÷0.1で61)
  • 除外された13モデル:23モデルのうち13を除いています。うち3つは、保存記録なしが100%でした。実際の検索をしていない可能性があるとの理由で外れており、3〜13%という幅には含まれません
  • Redditの扱い:GPT-5.1のURLの18.2%はRedditで、全部を「生きている」として数えています。すべて到達不可と見なす最悪の場合、GPT-5.1の数字は8.47%から26.71%になります

この論文から、言えること・言えないこと

言えること 言えないこと
検索つきのAIでも、挙げたURLの一部(この調査では3.0〜13.3%)に過去の保存記録がない いま提供されている各サービスで、同じ割合が出ること。確認日が原文にないため、今の数字は不明です
開けないURLの中身(作り話か、消えたページか)は、モデルによって大きく違う ディープリサーチ型が一般に作り話を増やすこと。2つのエージェントの結果は逆向きで、原因は内部を確認できない
分野によって開けない割合が違う(ExpertQAで5.4〜11.4%) 日本語の質問や、日本のサイトでの割合
確認ツールを使わせると、最終回答の開けないURLは3モデルで(本文の数値で)1%未満になった URLが開けば、その内容が回答の主張を裏づけること。この論文は、存在だけを測った
小さなモデルは、ツールの結果を使いこなせないことがある 自社サイトのURLが、AIにどれくらい正しく示されているか

中小企業の視点で、どう受け取るか

ここからは、論文の主張とは別の、私の読み取りです。

  • AIが示した出典URLは、公開前に1本ずつ開いて確かめる。論文では、検索つきでも3〜13%に保存記録がありませんでした。AIの下書きや調査結果を記事に使う場合は、URLを開く工程を置くのが堅実です(確度は強め。ただし日本語での割合は未確認)
  • URLが開いても、内容が合っているとは限りません。この論文が確かめたのは存在だけです。数字や主張は、開いたページの本文で照らし合わせます
  • 自社サイトのURLがAIに誤って案内されていないか、見ておく価値があります。論文は自社サイトの扱いを調べていません。アクセスログやGA4で、存在しないURLへの訪問と流入元を見る方法が考えられますが、これは未検証の着想です(確度は弱め)
  • 医療や学術的な分野は、AIの出典をとくに慎重に扱う。Claude Sonnet 4.5では、医療・健康の分野で17.4%が到達できませんでした。ただし、これは英語の専門質問での結果です

よくある質問

AIの引用URLのハルシネーションとは、何のことですか

この論文では、到達できないURLのうち、Wayback Machineに1件も保存記録がないものを指します。最初から存在しなかった可能性が高いURLです。

アーカイブに保存されていないだけの実在ページも混ざりうるため、論文は近似の値として扱っています。

ディープリサーチ型のAIは、検索つきのAIよりURLを間違えやすいのですか

合算すると、ディープリサーチ型のほうが保存記録のないURLの割合は高く出ています(10.7%対4.8%)。

ただし、OpenAIのディープリサーチ型は3.5%で、合算を押し上げているのはGemini 2.5 Proのディープリサーチ型です。この論文だけでは、型の違いが原因とは言い切れません。

引用URLが実在すれば、AIの主張は裏づけられていると言えますか

言えません。この論文が測ったのは、URLが存在するかどうかです。

ページの内容が、AIの書いた文を支えているかどうかは、別の確認が必要です。論文も、既存の指標は支えを測るもので、存在を測っていないと位置づけています。

まとめ:今日できる1つのこと

直近でAIの助けを借りて作った記事や資料から、出典URLを1本選び、公開前にすべてブラウザで開いてください。開けないものは外し、開けるものは本文が主張と合っているかを確かめます。

この論文は、LLMO論文の一覧の一本です。ほかの論文の解説も、順次公開しています。

この記事に書いたことを、そのまま御社のページに

生成AIに引用されるページを、お話しいただくだけでお作りします。お時間をいただくのは初回15分のヒアリングだけです。まず1ページ、無料でお作りします。

OKが出るまで、何度でも直します。事実が違う、言い回しが硬い、この話は入れないでほしい。どれも遠慮なくおっしゃってください。何度お直ししても、追加の料金はいただきません。

これまでに127社にご利用いただきました。毎月ご依頼いただいている方の6割以上が、月10ページを選ばれています。料金はページに掲載しています。

まず1ページ、無料で作らせてください

ページを増やしても問い合わせが来ないなら、原因はページの外にあります。その場合は、下の入口からご相談ください。

自社のマーケティング課題を根本から解決しませんか?

ウェブサイトから要素を引き算し、訪れた人が迷わず次の一歩に進む形へ組み直す。初回60分のオンラインで御社のサイトを一緒に読み、どこから直すべきかをお伝えします。手順をまとめた無料の診断と解説動画もご用意しています。

まず動画で詳しく見る(約30分)
無料診断を受ける

初回は無料・60分・オンライン完結・その場で契約のお願いはいたしません

LLMO論文
SEO対策 生成AI
よかったらシェアしてね!
  • URLをコピーしました!
  • 【LLMO論文解説】AI検索の出典は回答を支えていたか|8指標で9つのAIサービスを監査したDeepTRACE(プレプリント)
  • 【LLMO論文解説】誰でも投稿できるサイトからAI検索の引用へ|10のAI検索・1万7,211件の引用で測った研究(プレプリント)

この記事を書いた人

中野輝規のアバター 中野輝規

合同会社謙虚 代表社員。20代から、売る言葉だけを仕事にしてきました。電話営業で受話器を握っていた時代から、数千社のWEB集客に関わったいままで。詳しいプロフィールはこちら

この著者の記事一覧へ

関連記事

  • AIが引用するページは何で決まるのか
    【LLMO論文解説】AIが引用するページは何で決まるのか|FAQや構造化データはサイト間の比較でだけ効いて見えた(プレプリント)
  • AIの要約は検索エンジンの得になるのか、作り手の意欲から理論で試算
    【LLMO論文解説】AIの要約は検索エンジンの得になるのか、作り手の意欲から理論で試算|引用と支払いの設計(NeurIPS 2026と記載)
  • AI検索の回答は、中核の論点の約半分を落としていた
    【LLMO論文解説】AI検索の回答は、中核の論点の約半分を落としていた|下位の問いで網羅を測る指標(NAACL 2025)
  • GoogleのAI回答機能を外すと、クリックは増えるのか
    【LLMO論文解説】GoogleのAI回答機能を外すと、クリックは増えるのか|米国1,100人の事前登録実験(プレプリント)
  • 引用されない原因を診断して直す仕組み
    【LLMO論文解説】引用されない原因を診断して直す仕組み|AgentGEOは書き換え5%で引用率が向上(プレプリント、2026年3月)
  • 悪意あるGEO攻撃を無害化する二段防御「GEO Defender」
    【LLMO論文解説】悪意あるGEO攻撃を無害化する二段防御「GEO Defender」|攻撃成功率を50%から6%に低減(プレプリント)
  • 商品説明に紛れた順位操作を見抜けるか
    【LLMO論文解説】商品説明に紛れた順位操作を見抜けるか|既知の手口は大半を検出、新しい手口5種類は見抜けず(SCI-Defense・プレプリント)
  • 質問の言語を変えると地元ブランドの推薦割合が平均80ポイント上がる
    【LLMO論文解説】質問の言語を変えると地元ブランドの推薦割合が平均80ポイント上がる|欧州12言語・35,640回答の調査(プレプリント)
最近の投稿
  • 認知的不協和とは 申込み直後の迷いを完了ページとメールで減らす手順
  • バーナム効果とは 誰にでも当てはまる言葉を自社サイトで具体的に書き直す手順
  • figureタグとは figcaptionの書き方とaltの違いを仕様で確かめる
  • detailsタグとは summaryとopenの書き方と閉じた中身の扱いを仕様で確かめる
  • timeタグとは datetime属性の書き方と公開日・更新日の囲み方を仕様で確かめる
最近のコメント
  • aタグとは href属性の書き方と別タブで開く設定 下線を消す方法 に iframeとは 埋め込みの書き方と非推奨の噂の真偽 title属性とスマホ対応 - 合同会社謙虚 より
  • サンクスページの作り方|問い合わせ完了画面に書く内容とそのまま使える文例 に 認知的不協和とは 申込み直後の迷いを完了ページとメールで減らす手順 - 合同会社謙虚 より
  • 恐怖訴求とは 不安を煽らず問い合わせにつなげるホームページの書き方 に 認知的不協和とは 申込み直後の迷いを完了ページとメールで減らす手順 - 合同会社謙虚 より
  • ペルソナ 作り方でつまずく人へ、実在する一人の顧客から始める組み立て方 に バーナム効果とは 誰にでも当てはまる言葉を自社サイトで具体的に書き直す手順 - 合同会社謙虚 より
  • ハロー効果とは 例でわかる意味とホーン効果との違い 自社サイトの第一印象の直し方 に バーナム効果とは 誰にでも当てはまる言葉を自社サイトで具体的に書き直す手順 - 合同会社謙虚 より
  • 記事制作(KCW)
  • 売れるサイトはみな謙虚
  • サービス一覧
  • サイトの無料診断
  • 合同会社謙虚とは
  • 代表プロフィール
  • ブログ
  • お問い合わせ
  • プライバシーポリシー
  • 特定商取引法に基づく表記
  • AIのプロ名鑑

© 合同会社謙虚

目次