AIが検索結果の上に要約を出し、出典リンクを添える時代になりました。その出典に選ばれるのは、人が書いたページでしょうか、それともAIが書いたページでしょうか。
この記事で扱うのは、Googleの「AI Overviews」の出典を、AI生成の文書か人間が書いた文書かで比べた論文です。2026年5月のカナダ人工知能会議(第39回)で発表され、PMLRという論文集に載りました。
原文を読み、何を測り、何が言えて、何が言えないのかを整理します。
合同会社謙虚は、3つのドメインを並行して運用し、何を変えると数字が動くかを測り続けています。この論文を読むのは、「AIが書いた文章は引用されやすいのか」という気になる問いに、どこまで証拠があるのかを自分たちで確かめておくためです。
結論:3行で言うと
- 健康・金融・安全などの質問2,597件では、AI Overviewsの出典のうちAI生成と判定されたページが10.34%でした。これは、検索結果の上位100件での割合(6.63%)より高い値です
- 1ページあたりの引用されやすさでも、AI生成と判定されたページのほうが37.10%高くなりました。ただしこの差は検索結果に出ていないページが引用されたケースに集中し、「検索結果に出て、しかも引用された」確率(その種類の全ページに対する割合)は、AI生成と人間でほぼ同じです(-4.55%)
- 人間が書いたページは引用の74.47%を占める多数派です。また、「AI生成」の判定はAI文章検出器の出力で、その精度は論文自身では測られていません
この結果は、ある時点のGoogleの動作を測ったものです(質問の言語や地域は論文に明記されていません)。日本語のページへの適用や、AIが書くと引用されやすくなるという因果の読み方は、論文の範囲を超えます。
この論文の基本情報
| 項目 | 内容 |
|---|---|
| 題名(原題) | Auditing Citation Behavior in AI-Generated Search Summaries: A Framework and a Case Study of Google AI Overviews |
| 著者 | Kakimov、Tan、Gillham、Bejtic(4人)。2人はレイクヘッド大学(カナダ)、2人はAI文章検出器を提供する企業の所属です |
| 公開日 | PMLRへの掲載は2026年6月29日(論文集全体の公開日)です。会議の開催は2026年5月25〜29日でした |
| 掲載先(PMLR) | Proceedings of Machine Learning Research 第318巻、224〜235ページ。第39回カナダ人工知能会議の論文集で、編集者が2人付いています |
| 査読 | 会議論文集に掲載された論文です。査読の方式は論文には書かれておらず、この記事では確認できていません |
| 種類 | 観察研究(実際のGoogleの出力を集めて数える)と、監査の枠組みの提案 |
| DOI(識別番号) | PMLRのページにDOIの記載はありません(論文PDFの冒頭は「DOI: 0」のままです)。Crossrefでも題名から見つけられませんでした。arXivのプレプリントは確認していません |
| 実験データとコード | 公開先の記載は、論文の本文・謝辞・参考文献に見当たりません |
論文はこちらで読めます。PMLRのページ(要旨と論文PDFへのリンク)。
この論文が答えた問い
AI Overviewsは、検索順位が同じ程度のページなら、人間が書いたページとAIが書いたページを同じ確率で引用するのか。
背景には2つの流れがあります。1つは、検索結果の上にAIの要約が出て、出典リンクが並ぶようになったことです。
論文は、この出典の選び方が「新しい順位づけの層」として働くと見ています。
もう1つは、ネット上の文章に、AIが書いたものが増えていることです。AIは事実と違う内容を、もっともらしく書くことがあります。
そのため論文は、健康・お金・安全・法律のように、誤りが生活に直結する分野を選びました。
どうやって調べたのか
観察の枠組み
論文は、Googleの内部には触れず、外から見える入力と出力だけで引用を測る枠組みを作りました。質問ごとに、次の2つを集めます。
- 通常の検索結果の上位100件(論文では「検索結果」)
- AI Overviewsが出典として引用したページ
そして、すべてのページに「AI生成」「人間が書いた」「判定不能」の札を付け、質問とページの組ごとに数えます。
集めたデータ
| 項目 | 内容 |
|---|---|
| 質問の元 | 検索エンジンの実際の検索ログから作られた公開データセット(約1,000万件)から、ランダムに抽出 |
| 質問の選別 | AIモデル(GPT-4.1-nano)が、健康・金融・安全などの質問(YMYL)かどうかを判定。29,000件が集まるまで続けた |
| 最終的な質問数 | AI Overviewsが表示された2,597件(表示されない質問は除外) |
| 検索結果 | 251,163件(1質問あたり最大100件) |
| 引用 | 39,673件(1質問あたり約15件。概算:39,673÷2,597) |
| 質問とページの組 | 272,080組。内訳はAI生成19,326、人間190,834、判定不能61,920 |
| 重複を除いたページ数 | 214,724件(AI生成16,973、人間150,883、判定不能46,868) |
最終の質問数は、29,000件のうち約9%(概算:2,597÷29,000)です。AI Overviewsが出た質問だけを分析しています。
「AI生成かどうか」は、どう判定したのか
判定には、論文の著者2人の所属企業が提供するAI文章検出器(特定の版)が使われました。ページから抜き出した本文を渡し、文書単位で「AI生成」か「人間が書いた」かの札を得ています。
判定の信頼性について、論文が示している根拠は3つです。
- 他の研究者による比較で、この検出器が他の検出器より成績が良かったという先行研究の引用
- 医療分野の文章で、専門の評価者が見分けにくかったAI生成文を、検出器はすべて検出したという先行研究の引用(引用文献の題名より)
- 一部の質問と文書を手作業で確認し、札の一貫性を見たという記述(件数や一致率は書かれていません)
誤検出率や見逃し率の測定は、この論文の対象外でした。論文自身も「完全な検出器は存在しない」と書いています。
「判定不能」は、PDF、動画サイト、50語未満のページ、取得できなかったページなどです。272,080組のうち61,920組(約23%、概算)を占めます。
結果
検索結果と引用で、割合はどう変わったか
| 指標 | AI生成 | 人間 | 判定不能 |
|---|---|---|---|
| 検索結果(上位100件)での割合 | 6.63% | 70.12% | 23.25% |
| 引用全体での割合 | 10.34% | 74.47% | 15.19% |
| 検索結果に出たページの引用での割合 | 7.63% | 78.98% | 13.38% |
| 検索結果に出ていないページの引用での割合 | 12.76% | 70.43% | 16.81% |
| 引用全体と検索結果の差(%ポイント) | +3.71 | +4.35 | -8.06 |
- 人間が書いたページが、検索結果でも引用でも多数派です。引用の74.47%を占めます
- AI生成の割合は、検索結果から引用で3.71%ポイント上がりました。論文はこれを相対で約56%の増加としています
- 引用の52.72%(20,917件)は、検索結果の上位100件に出ていないページでした。残りの47.28%(18,756件)が検索結果に出たページです
- AI生成の割合は、検索結果に出ていないページの引用で12.76%と、出たページの引用(7.63%)より高くなりました
1ページあたりの引用されやすさ
次に、各種類のページのうち、引用された組の割合を比べています(論文の表3)。
| 指標 | AI生成 | 人間 | 差(AI-人間) | 相対差 |
|---|---|---|---|---|
| 引用された確率(全体) | 0.2123 | 0.1548 | +0.0574 | +37.10% |
| 検索結果に出て、引用された確率 | 0.0741 | 0.0776 | -0.0035 | -4.55% |
| 検索結果に出ず、引用された確率 | 0.1382 | 0.0772 | +0.0610 | +78.98% |
全体では、AI生成のほうが高くなっています。ところが内訳を見ると、検索結果に出たページの確率はほぼ同じで、差は検索結果に出ていないページの引用から生まれています。
論文は、検索結果に出ていないページの引用が全体の差の主な原因だと述べています。
順位をそろえて比べると
検索で上位のページほど引用されやすいので、論文は「検索結果の上位k件に入ったページのうち、引用された割合」を比べました。数字は論文の本文から拾っています。
| 上位の範囲 | AI生成 | 人間 | 差(%ポイント) |
|---|---|---|---|
| 1位のみ | 58.02% | 59.57% | -1.55(概算) |
| 上位2件 | 58.74% | 54.81% | +3.93(概算) |
| 上位7件(差が最大) | 48.72% | 43.15% | +5.57 |
| 上位10件(本文の値) | 52.02% | 46.60% | +5.42(概算) |
| 上位10件(計算例と図の値) | 44.05%(589÷1,337) | 39.28%(8,000÷20,366) | +4.8 |
| 上位50件以降 | ほぼ同じ | ほぼ同じ | ほぼ0 |
論文は、1位のみでは人間がわずかに高く、2件以上ではAI生成が高くなったと述べています。差が最大になるのは上位10件以内で、上位約50件を超えると差はなくなります。
上位10件の行が2つあるのは、原文の本文と、計算例・図の数字が合わないためです。詳しくは、後の「原文を読んで気づいた点」に書きます。
私の計算:検索結果に出たページだけで比べると
検索結果に出たページの数で、引用された件数を割ってみます(概算)。AI生成は1,432÷16,656で約8.6%、人間は14,814÷176,103で約8.4%です。
検索結果に出たページ全体で見ると、AI生成と人間の引用率はほぼ同じです。上位に絞ると差が出る点は、AI生成のページが上位に少なく、下位に散らばっていることと関係している可能性があります。
ただし、この関係を調べることは論文の対象外です。
論文自身が書いている限界
この論文では、限界の注意書きが本文と結論に散らばっています。主なものは次の3つです。
- 自動の検出器は完全ではありません。そのため、一部の質問と文書を手作業で確認しました
- 表の確率の絶対値は、質問に関連の高い文書だけの限られた集まりの中の値で、「世の中全体で引用される確率」ではありません。注目すべきは種類ごとの相対差です
- 今回の分析は外から観察しただけで、引用が利用者の信頼や判断にどう影響するかは、利用者を対象にした別の調査が補えるかもしれない、と結びで述べています
原文を読んで気づいた点
- 「AI生成」の札は検出器の判定で、その精度は論文の外の情報に頼っています。人間と判定されたページは「AIと判定されなかったページ」で、AIが書いた文章を人が手直ししたものが混ざる可能性があります
- 検出器の提供企業が著者に入っています。謝辞では、研究がその企業との提携プログラムの支援を受けたと書かれています。論文に利益相反の節は見当たりません
- 日本語での検証は、論文の対象外です。質問の言語は論文に明記されておらず、検出器が日本語の文章を判定できるかも未確認です
- 質問のYMYL判定はAIモデルによるもので、その精度は未報告です。AI Overviewsが出る質問は一部(約9%)だけで、その偏りの検討も論文にありません
- データを集めた日時、地域、利用者の設定は未記載です。AI Overviewsの表示は変わるため、結果は集めた時点のものと読むべきです
- 観察だけの研究です。AI生成のページが引用されやすいのは、文章がAI生成だからなのか、構成や質問との合い方などの別の性質なのかは、分かりません
- 論文の発見3(AI生成のほうが引用されやすいという結果)は「有意に高い」と述べていますが、検定や信頼区間の数字は載っておらず、確かめようがありません。上位1位のような件数の少ない条件の差は、偶然の幅が大きい可能性があります
- 「検索結果に出ていない引用」の理由は未検証です。論文は「AI要約の選び方の広がり」と見ていますが、検索結果と要約を何回・いつ取得したかは書かれておらず、AI要約が別の検索を使った可能性も残ります。この可能性は私の読み取りです
- 「検索結果に出ていないページ」は、引用された場合にしか集合に入らない定義です。そのため表3の3行目は、検索結果の外にあるすべてのページの中でAI生成が選ばれやすいことを、直接測った値ではありません
- 上位10件の数字が、3か所で食い違っています。計算例と図は44.05%と39.28%(差0.048)で、直後の本文は52.02%と46.60%です。また、上位7件の48.72%から上位10件で52.02%に上がる動きは、累積の割合として不自然に見えます。原因は特定できませんでした
- 評価はすべて自動です。質問の判定もAIモデル、ページの判定も検出器で、手作業での確認は一部にとどまります
この論文から、言えること・言えないこと
| 言えること(論文の設定で確認された) | 言えないこと(論文では確認されていない) |
|---|---|
| 2,597件の質問の範囲で、AI生成と判定されたページの引用の割合は、検索結果での割合より高かった | AIが書くと、引用されやすくなること(因果) |
| その差は、検索結果に出ていないページの引用に集中していた | 検出器の「AI生成」の判定が正しいこと |
| 「検索結果に出て引用された」確率では、AI生成と人間に大きな差はなかった | 日本語のページ、日本のGoogleで同じ結果になること |
| 上位約50件までに絞ると、AI生成のほうが引用率が高かった | いまのAI Overviewsで同じ結果になること |
| 人間が書いたページが、引用の約4分の3を占めていた | AI生成のページの情報が、人間のページより誤りが多い・少ないこと |
「+37.10%」は、AI生成と判定されたページの引用された確率が、人間が書いたページの1.37倍だったという相対差です。「引用される確率が37%上がる」と読むのは誤りです。
中小企業の視点で、どう受け取るか
ここからは論文の主張とは別の、私の読み取りです。
1. 「AIで書けば引用される」とは読まない
この論文は、AI生成と判定されたページを比べただけで、AIを使って書き換えると引用が増えるかは、調べの対象外です。AIで量産した記事で引用を狙う根拠としては、弱すぎます。
2. 引用の約半分は、検索順位の外から選ばれている
引用の52.72%が、検索結果の上位100件に出ていないページでした。順位だけを見ていると、引用の半分は見えないことになります。
自社の場合も、「検索で上位に出ているか」と「AI Overviewsに出典として出るか」は、別々に確かめる必要があります。
3. 健康・お金・安全の分野は、書く側の責任が大きい
AI要約が出典を選び、そこにAI生成の文書が混ざっています。この分野で記事を書く場合は、数字や制度の説明を、元の資料で確かめてから載せるのが前提になります。
4. 判定の数字は、そのまま使わない
自社のページをAI検出器にかけて「AI判定」と出ても、それが正しいかどうかは別問題です。検出器の結果は目安にとどめるのが安全です。
よくある質問
Google AI Overviewsの引用では、AIが書いたページのほうが有利なのですか
この論文の観察では、AI生成と判定されたページのほうが、引用される確率が高く出ました。ただし、「検索結果に出て引用された」確率で比べると、ほぼ同じです。
有利と言い切るには、因果を示す別の実験が要ります。
AI生成の文書を見分ける検出器は、この論文でどのくらい正確と確認されているのですか
この論文が示すのは、誤検出率や見逃し率の実測値ではなく、先行研究の引用と、一部を手作業で確認したという記述です。
Google AI Overviewsの引用に関するこの論文の結果は、日本語のサイトにも当てはまりますか
当てはまるかは、論文の外で確かめる必要があります。質問の言語の記載も、日本語での検証も空白です。
同じ手順を日本語で試せば、自社のデータで確かめられます。
まとめ:今日できる1つのこと
自社のページに答えてほしい質問を1つ決めて、Googleで検索してみてください。AI Overviewsの出典欄に並ぶドメインを書き出し、通常の検索結果の上位10件と重なっているかを見ます。
重なっていなければ、「順位の外から引用される」現象が自社の分野でも起きているということです。1つの質問でも、この論文の結果と自社の現場を結びつける材料になります。
この論文は、LLMO論文の一覧の一本です。ほかの論文の解説も、順次公開しています。
この記事に書いたことを、そのまま御社のページに
生成AIに引用されるページを、お話しいただくだけでお作りします。お時間をいただくのは初回15分のヒアリングだけです。まず1ページ、無料でお作りします。
OKが出るまで、何度でも直します。事実が違う、言い回しが硬い、この話は入れないでほしい。どれも遠慮なくおっしゃってください。何度お直ししても、追加の料金はいただきません。
これまでに127社にご利用いただきました。毎月ご依頼いただいている方の6割以上が、月10ページを選ばれています。料金はページに掲載しています。
ページを増やしても問い合わせが来ないなら、原因はページの外にあります。その場合は、下の入口からご相談ください。
自社のマーケティング課題を根本から解決しませんか?
ウェブサイトから要素を引き算し、訪れた人が迷わず次の一歩に進む形へ組み直す。初回60分のオンラインで御社のサイトを一緒に読み、どこから直すべきかをお伝えします。手順をまとめた無料の診断と解説動画もご用意しています。
初回は無料・60分・オンライン完結・その場で契約のお願いはいたしません


