Googleの検索結果に出るAIの要約（AI Overviews）は、どんな文章を選んで引用しているのでしょうか。2025年9月に公開された論文「When Content is Goliath and Algorithm is David: The Style and Semantic Effects of Generative Search Engine」は、この問いを、Googleの生成検索と従来の検索結果を並べて調べました。
この記事は、その論文を原文から読み、要点を整理します。「AIにとって予測しやすい文章」とは何を測った値なのか、引用された出典にどんな共通点があったのか、AIで文章を磨くと何が起きたのかが分かります。
数値は、論文の表と本文から拾いました。
合同会社謙虚は、3つのドメインを並行して運用し、何を変えると数字が動くかを測り続けています。この論文は、「どんな文章がAIに拾われやすいのか」を測る側の視点を、実験の設計ごと見せてくれるので読みました。
結論：3行で言うと
- GoogleのAI Overviewsに引用された文章は、従来の検索結果の文章より、AIにとって予測しやすい文章（パープレキシティが低い文章）でした。標準偏差1つ分低い抜粋では、引用された割合が平均の47%から56%に対応すると、論文は述べています（関係を示した数字で、書き換えて確かめた結果ではありません）
- 引用された出典どうしは、意味が近い傾向がありました。AI要約は、一つにまとまった答えを作るため、似た内容の出典が集まりやすいと論文は説明します
- 実験室の中で、すべての出典をAIで磨くと、引用される出典の数が増え、出典どうしの意味の近さは下がりました。ただし、磨いたのは全サイト一斉です。自分のサイトだけ磨いた場合の結果ではありません
この結果を「AIで文章を書けば引用される」と読むのは行き過ぎです。論文が示したのは、引用された文章の特徴（観察された関係）と、実験室でのAI磨きの効果です。
後半の章で、何が言えて何が言えないのかを分けます。
この論文の基本情報
| 項目 | 内容 |
|---|---|
| 題名 | When Content is Goliath and Algorithm is David: The Style and Semantic Effects of Generative Search Engine |
| 著者 | Lijia Ma、Juan Qin、Xingchen (Cedric) Xu、Yong Tan（4人。所属はノースカロライナ大学シャーロット校、中国科学技術大学、ワシントン大学）。最初の3人は同等の貢献と記載されています |
| 公開 | 2025年9月17日。arXiv:2509.14436（分野はcs.IR、情報検索）。確認した版はv1で、59ページ、図6、表20 |
| 掲載状況 | arXivのプレプリントです。原稿の書式は経営情報システム分野の学術誌Information Systems Research向けですが、原稿番号は仮の表記（ISRE-0000-0000.00）のままで、採択の記載は見当たりません |
| 種類 | 観察データの回帰分析と、検索AIを使った実験室実験、人を対象にしたランダム化実験の組み合わせ |
| 実験データ・コード | 私が読んだ範囲では、公開先の記載は見つかりませんでした。実験に使った指示文は付録Cにあります |
論文はこちらで読めます。arXiv（2509.14436）。
この論文は、GEO原論文の解説で扱った「AIに渡したあとの文章の書き換え」とは違い、AIが何を選んで引用するのか、という手前の段階を実サービスで調べています。
この論文が答えた問い
生成検索は、どんな文章を、どんな出典の組み合わせで引用するのか。そして、事業者がAIで文章を磨くと、AI要約の中身は変わるのか。
従来の検索は、順位をつけて一覧を出します。生成検索は、複数の出典から答えを一つにまとめ、引用を付けます。
論文は、この違いが「どんな文章が選ばれるか」を変えるのではないかと考えました。そこで、次の4つの問い（論文のRQ1〜RQ4）に分けて調べています。
- 生成検索は、どんな出典を選んで引用するのか
- その選び方は、Googleの手作業の設計なのか、AIモデルが元から持つ癖なのか
- 文章をAIで磨くと、AI要約の情報の多様性はどう変わるのか
- 磨かれた文章から作られた要約は、使う人の作業をどう変えるのか
どうやって調べたのか
まず、4つの問いごとの調べ方を整理します。
| 問い | データ・条件 | 主な指標 |
|---|---|---|
| RQ1：何を引用するか | HC3（ChatGPTと人の回答を比べるために作られた質問集）から無作為に選んだ5,000問をGoogleに投げ、AI Overviewsと従来の検索結果の両方が得られた4,060問（2025年6月）を使用。引用された、または上位に出たサイトの本文を取得し、計98,477サイトを分析 | 引用されたか（1か0）、パープレキシティ、出典どうしの意味の近さ |
| RQ2：癖か設計か | 同じ抜粋を、Gemini（AI Overviewsの土台のモデル）に渡す実験環境で回答させる。抜粋の並びは無作為にして、位置の影響を分ける | RQ1と同じ指標に、位置を加えたもの |
| RQ3：AIで磨くと | 各抜粋を、Gemini 1.5 Flashで磨く。「普通に磨く」と「AI Overviewsに選ばれやすいように磨く」の2種類。元の文章を含めた3条件でRQ2の実験を繰り返す | 引用された出典の意味の近さ、引用数、要約自体のパープレキシティ |
| RQ4：人への影響 | オンラインの被験者募集サービスで150人を募り、147人を分析。「公立学校のスマホ禁止を勧めるか」の提言文（100〜300語）を書く課題。65サイトの文章を、原文のまま使う群と、磨いた文章を使う群に半々で割り当て | 提言文の情報の多様性（Vendiスコア）、課題にかかった時間 |
RQ1〜RQ3では、各サイトから、AIが答えに使った文に最も近い128文字の抜粋を1つだけ取り出して比べています。サイト全体ではなく、短い抜粋が比較の単位です。
「予測しやすい」は、どう測ったのか
論文が使ったのは、パープレキシティ（PPL）という指標です。AIが文章を1語（正確にはトークン）ずつ読み進めるとき、直前までの内容から次の語をどれだけ高い確率で当てられるかを数値にしたものです。
各語の確率の対数を平均し、符号を反転して指数に戻して求めます。
値が低いほど、そのAIにとって予測しやすい文章です。測るモデルには、GoogleのGemma-2Bが使われました。
分析した抜粋の平均は16.42、標準偏差は9.52、中央値は13.86です（表1）。
これはAIモデルの確率の計算で決まる値で、人が読んで「分かりやすい」と感じるかどうかとは別のものです。
意味の近さは、文を数値のベクトルに変換する別のモデルで測り、抜粋のペアごとの近さ（コサイン類似度）で表しています。全ペアの平均は0.54、標準偏差は0.16でした。
結果
引用された文章は、予測しやすく、意味が近かった
| 調べたこと | 結果 | 読み方 |
|---|---|---|
| AI Overviewsに引用されたか（サイト単位。引用された割合は平均47%） | パープレキシティが1上がるごとに、引用の確率は0.0098下がる（線形の分析。表2） | 論文は、標準偏差1つ分（9.52）低い抜粋では、引用確率が平均の47%から56%に対応すると述べています |
| 文ごとの引用（平均4%） | 同じ向きで、1上がるごとに0.0015下がる（表2） | 文単位でも、予測しやすい抜粋ほど引用されていました |
| 従来の検索の順位 | パープレキシティと順位の関係は有意ではなかった（係数0.0144。付録の表H1） | この差は、AI要約側に見られた特徴です |
| 引用された出典どうしの意味の近さ | 引用ペアのほうが、そうでないペアより0.0365〜0.0492高い（表3） | 全ペアの標準偏差0.16と比べると、差は小さめです（概算で0.23〜0.31個分。0.0365÷0.16、0.0492÷0.16） |
| Geminiの実験環境（引用された割合は平均33%） | パープレキシティの係数は-0.0067、意味の近さは0.1206または0.0964高い（表5・6） | Google本体でなく、モデルを使った実験環境でも同じ向きでした |
論文が強調するのは、引用された出典の多くが、従来の検索の上位には出ていなかったことです。AI Overviewsは、順位の低いサイトも拾います。
しかし、拾った出典どうしは意味が近いので、使う人が目にする視点は狭まると論文は述べています。
また、実験環境では、抜粋の位置が後ろになるほど引用されにくくなりました（係数-0.0145。表5）。
別のAIでも、同じ向きだった
論文は、結果がGoogleだけの現象かどうかを、付録の確認で調べています。
- 2023年4月のBing（のちにCopilotへ改称）：700問、13,428サイトで、引用された抜粋のパープレキシティは低く、従来の検索順位とは関係しませんでした（係数-0.0755。測定にはGPT-2を使用）
- 2025年7月のGPT-4o-miniを使った実験環境（表の観測数13,428は、Bingで集めたデータと同数です）：パープレキシティの係数は-0.0321、位置の係数は-0.0163でした
- パープレキシティの上位1%を除いても、結果は変わりませんでした（付録E）
AIで磨くと、引用される出典が増えた
| 条件 | 全ペアの意味の近さ | 引用された出典どうしの意味の近さ | 1問あたりの引用数 | 要約自体のパープレキシティ |
|---|---|---|---|---|
| 普通に磨く（T=1） | -0.0096 | -0.0319 | +1.0744 | -0.0431（有意でない） |
| 引用されやすいよう指示して磨く（T=2） | -0.0091 | -0.0722 | +2.1059 | -0.0451（有意でない） |
数値は、磨かない元の文章との差です（表8・9）。意味の近さは、低いほど多様です。
論文は、この結果を次のように解釈しています。磨かれた文章は意味を保ったまま予測しやすくなり、引用の候補になれる出典が増えた。
その結果、引用された出典の幅が広がった、という説明です。
GPT-4o-miniで繰り返した付録の結果も、同じ向きでした。引用数は+0.7820と+1.8144、引用された出典の近さは-0.0284と-0.0657です。
人が使うと、学歴によって効き方が違った
| グループ | 人数 | 情報の多様性（磨いた群の差） | 課題の時間（磨いた群の差） |
|---|---|---|---|
| 全体 | 147 | +0.3554（有意） | -1.5942分（有意） |
| 大学卒以上 | 68 | +0.0690（有意でない） | -2.9186分（有意） |
| 大学卒でない | 79 | +0.6123（有意） | -0.3858分（有意でない） |
論文の序論は、学歴の高い人は情報が足りないと追加で質問する傾向があり、磨いた文章では質問が減って時間が短くなったと説明します。
学歴が高くない人は、どちらの群でも質問が少なく、要約に入った情報の多さの恩恵を受けたという解釈です。ただし、質問回数を示す表は本文にも付録にも見当たらず、表10が示すのは多様性と時間だけです。
対照群の平均値は、私が読んだ範囲で見当たりませんでした。差の割合は、表からは計算できませんでした。
論文自身が書いている限界
論文は、結論の節で、次の3点を限界として挙げています。
- Googleが市場の大半を占めるため、他の検索サービスへの当てはまりには限りがあります。論文は、Bingと実験環境での確認で補ったと述べています
- 技術は変わるので、結果がいつまで続くかは未確定です。論文は、Bingの2023年とGoogleの2025年の両方で同じ傾向があり、約2年半続いていると述べています
- 人を対象にした実験は、オンラインでの実験に限られます。検索事業者が持つ実際の利用データを使った調査が、今後の課題です
原文を読んで気づいた点
これは論文自身の記述ではなく、この記事を書くために原文を読んで私が気づいた点です。
- 日本語での検証は報告されていません。質問集の言語は本文に明記がなく、日本語の質問やサイトへの言及もありません
- 比べているのは、サイト全体ではなく128文字の抜粋です。引用されたサイトの抜粋は、AIの文に最も近い箇所から選ばれ、従来の検索だけに出たサイトの抜粋は、検索結果の説明文を含む箇所から選ばれています。選び方が違うことが結果に影響したかどうかを調べた記述は、見当たりませんでした
- パープレキシティは、AI Overviewsとは別のモデルで測っています。測定にはGemma-2B（Bingの確認ではGPT-2）が使われています
- 磨く実験は、全サイトを一斉に磨いた場合です。1つのサイトだけを磨いたとき、そのサイトが引用されやすくなるかどうかは、この実験の対象外です。また、磨いた後の抜粋のパープレキシティを実測した表は見当たりません。「磨くと予測しやすくなる」は論文の説明です
- 位置の効果は、資料の中の抜粋の順番に関する結果です。実験環境の「位置」は、抜粋を並べた資料の中での順番で、並びは無作為でした。論文は、重要な内容をサイトの冒頭に置く対策を示唆していますが、ページの中の位置を変えた実験はしていません
- 人の実験は、1つのテーマで、147人です。序論の学歴の区分は「大学院」と「学部以下」ですが、5.2節の分析は「大学卒以上」かどうかです。序論が述べる提言文の長さや検索回数の違いを示す表も、本文と付録には見当たりませんでした。Vendiスコアは文の数が上限になるので、長い文章ほど高くなりやすい性質があります
- 評価はすべて自動の計算です。引用された文章の良し悪しを人が採点した評価はありません。査読を経た論文かどうかは、先に書いたとおり、採択の記載が見当たりません
- サイト数の書き方が食い違っています。要旨は約1万サイトと書きますが、本文の3章は98,477サイトです。この記事は、本文の数値を使いました
この論文から、言えること・言えないこと
| 言えること（論文の設定で確認された） | 言えないこと（論文では確認されていない） |
|---|---|
| 2025年6月のGoogleで、引用された抜粋は、引用されなかった抜粋よりパープレキシティが低かった | パープレキシティを下げれば、自分のページが引用されるようになること |
| 引用された出典どうしは、意味が近かった | 日本語のサイトや質問でも同じ大きさで起きること |
| 実験環境で全出典を磨くと、引用数が増え、引用された出典の近さが下がった | 自分のサイトだけを磨いたときの効果 |
| 同じ向きの結果が、Bingと、GPT-4o-miniの実験環境でも見られた | 検索順位、アクセス、問い合わせが増えること |
| 磨いた文章を使うと、147人の実験で、提言文の多様性または作業時間が改善した | テーマが違う課題や、日常の検索での効果 |
最初の行は、「引用された文章が予測しやすかった」という、観察された関係の話です。予測しやすくしたから引用された、という原因と結果の順序は、この観察だけでは決まりません。
論文は、実験環境でも同じ傾向が出たことを根拠に、モデルの性質から来ると結論づけています。ただし、その実験でも、同じ抜粋のパープレキシティだけを変えて引用の変化を見たわけではありません。
磨く実験は文章全体を書き換えるもので、磨いた後のパープレキシティは測られていません。
中小企業の視点で、どう受け取るか
ここからは論文の主張とは別の、私の読み取りです。
- 「AIに書かせれば引用される」という読み方は避ける。論文が示したのは、引用された抜粋の特徴です。AIで磨いた文章が引用されたのは、全部の出典を磨いた実験室の中でした。競合も同じことをする環境で、自社だけが得をするかどうかは分かりません
- 予測しやすさを直接狙うより、質問に直接答える文を整える。この論文は、人が読みやすいかどうかを測っていません。ただ、磨きの指示は「より明確で、より魅力的に」でした。質問に先に答える、言い回しを平易にする、といった整え方は、自社のページで試せます
- 引用された文章を読み比べる。自社が答えたい質問をGoogleで検索し、AI Overviewsが引用した出典の文章を読み、自社の文章と並べてみます。何が違うのかを、実測で確かめる出発点になります
- AI要約が似た出典を集める可能性を、頭に置く。論文では、引用された出典どうしが意味の近い傾向でした。自社にしかない情報（自社の数字、手順、現場の細かい判断）を、一般論と同じ言葉に埋もれさせない書き方が、差になる可能性があります。これは私の推測で、論文が確かめた範囲の外です
よくある質問
パープレキシティが低い文章が引用されやすいという結果は、AIで書けば引用されるという意味ですか
言えるのは、関係が観察されたところまでです。論文は、引用された抜粋のパープレキシティが低かったという関係を示しました。
AIで書いた文章が引用されるかどうかは、直接は調べていません。
AIで磨く実験も、全サイトを一斉に磨いた場合の結果です。
『When Content is Goliath and Algorithm is David』の結果は、日本語のサイトにも当てはまりますか
論文の範囲外です。質問集の言語は本文に明記がなく、日本語での検証の報告は見当たりませんでした。
パープレキシティも、測るモデルの学習データによって値が変わります。日本語のサイトに当てはまるかどうかは、自社の質問で確かめる必要があります。
GoogleのAI Overviewsの引用は、従来の検索順位と同じ基準で選ばれていますか
この論文のデータでは、同じとは言えませんでした。パープレキシティは、AI Overviewsの引用には関係し、従来の検索順位には有意な関係がありませんでした。
引用された出典の多くが、従来の上位ではなかったことも、論文は述べています。
GEO研究の全体像は、サーベイ論文の解説でまとめています。
まとめ：今日できる1つのこと
自社が答えたい質問を1つ決めて、GoogleでAI Overviewsを表示してください。引用された出典の該当箇所を読み、自社のページの最初の2文が、同じ質問に直接答えているかを確かめます。
答えていなければ、先に答えを書く形に直して、数週間後にもう一度同じ質問で確かめます。効果は、この記事の数字ではなく、自社の実測で判断してください。
この論文は、LLMO論文の一覧の一本です。ほかの論文の解説も、順次公開しています。
この記事に書いたことを、そのまま御社のページに
生成AIに引用されるページを、お話しいただくだけでお作りします。お時間をいただくのは初回15分のヒアリングだけです。まず1ページ、無料でお作りします。
OKが出るまで、何度でも直します。事実が違う、言い回しが硬い、この話は入れないでほしい。どれも遠慮なくおっしゃってください。何度お直ししても、追加の料金はいただきません。
これまでに127社にご利用いただきました。毎月ご依頼いただいている方の6割以上が、月10ページを選ばれています。料金はページに掲載しています。
ページを増やしても問い合わせが来ないなら、原因はページの外にあります。その場合は、下の入口からご相談ください。
自社のマーケティング課題を根本から解決しませんか？
ウェブサイトから要素を引き算し、訪れた人が迷わず次の一歩に進む形へ組み直す。初回60分のオンラインで御社のサイトを一緒に読み、どこから直すべきかをお伝えします。手順をまとめた無料の診断と解説動画もご用意しています。
初回は無料・60分・オンライン完結・その場で契約のお願いはいたしません
