【LLMO論文解説】AI Overviewsと強調スニペットを育児・妊娠1,508件で監査｜2つの回答の食い違い（ICWSM 2026掲載予定）

Googleで育児や妊娠について調べると、検索結果の最上部に、AIが作った要約（AI Overviews）や、ページの一部を抜き出した枠（強調スニペット）が出ます。この2つが同じ画面に並んだとき、同じ答えを言っているのかを、1,508件の検索語句で調べた論文があります。

2025年11月にarXivで公開された「Auditing Google’s AI Overviews and Featured Snippets: A Case Study on Baby Care and Pregnancy」で、arXivのコメント欄には「to appear in AAAI ICWSM 2026」とあります。この記事では、何を測り、何が分かり、何が分かっていないのかを、原文から読んで整理します。

合同会社謙虚は、3つのドメインを並行して運用し、何を変えると数字が動くかを測り続けています。この論文を読むのは、AIが答えを出す検索画面で、その答えの質がどう測られているのかを、失敗の影響が大きい医療・健康の分野の例で確かめておくためです。

結論：3行で言うと

• 育児・妊娠に関する1,508件の検索語句で、GoogleのAI Overviewsは84%、強調スニペットは約33%の検索で表示されました（2025年4月、米国・英語）
• 2つが同じ画面に並んだ322件では、全文どうしの32.3%、強調された部分どうしの40.7%で内容が食い違っていました。明確な二択の矛盾は少なく、数字や条件のずれが大半です
• 専門家への相談を促す注意書きを含む回答は、AI Overviewsで11%、強調スニペットで7%でした。出典は健康系のサイトが最多で、強調スニペットは商業系のサイトの割合が高めでした

この結果は、米国の英語検索を、ある1時点で調べたものです。日本語や日本のGoogleに当てはまるかどうかは、論文では確かめられていません。

この論文の基本情報

項目	内容
原題	Auditing Google’s AI Overviews and Featured Snippets: A Case Study on Baby Care and Pregnancy
著者	Hu、Baumann、Urman、Lichtenegger、Forsberg、Hannak、Wilson（7人。所属はチューリッヒ大学、スタンフォード大学、ヘルシンキ大学、コルヴィヌス大学、ノースイースタン大学）
公開日	2025年11月17日（初版）。確認した版は2026年3月23日のv4
arXiv番号	2511.12920（分野はcs.CL、計算言語学）
掲載・採択状況	arXivのコメント欄に「18 pages, 10 figures; to appear in AAAI ICWSM 2026」。論文の書式はAAAI会議録のものです。会議録に掲載された後の版は、私は確認していません
種類	アルゴリズム監査（検索サービスの出力を、外から繰り返し取得して調べる研究）。人手で評価する手法です
実験データとコード	論文の脚注にコードとデータの公開先のURLが書かれており、アクセスできることは確認しました。中身までは見ていません

論文はこちらで読めます。arXiv（2511.12920）、arXiv発行のDOI。

数値は論文の本文と表から拾いました。私の計算値には「概算」と付けます。

この論文が答えた問い

育児・妊娠に関する検索で、GoogleのAI Overviewsと強調スニペットは、どのくらい表示され、互いに一致し、質問に合い、注意書きを含み、信頼できそうな出典を使っているのか。

育児と妊娠は、論文が選んだ「失敗の影響が大きい分野」の例です。論文は、妊婦の85%がGoogleで妊娠の情報を調べた、という別の調査を引いて、検索結果の質を確かめる意義を説明しています。

AI Overviewsは、複数のページの内容を短い要約にして、検索結果の最上部に出す機能です。強調スニペットは、1つのページから該当部分を抜き出して見せる、従来からある枠です。

どうやって調べたのか

検索語句の集め方

元になったのは、公開されている検索語句の集まり（約1,040万件）です。論文は次の順に絞っています。

1. 「baby」「pregnant」などの語を含むものを選ぶ
2. 3語以上のものに限り、ほぼ同じ語句を除く（1万5,500件）
3. 動物や有名人の話など、人の育児・妊娠と無関係なものをAI（gpt-4o-mini）で除く（9,516件。人手で付けた50件の正解と100%一致を確認）
4. 疑問詞で始まる「疑問形」の検索語句から、型と話題（育児・妊娠）ごとに最大100件ずつ無作為に選ぶ（1,037件。「なぜ」と、妊娠の「いつ」は件数が足りず、全件）

疑問形は、次の6つの型に分けられています。

• 二択（「〜してもよいか」のように、はい・いいえで答える質問）
• 何・誰・どこ（定義や特定を聞く質問）
• いつ
• 〜のやり方（how to）
• どのくらい（how many、how oftenなど、程度や量を聞く質問）
• なぜ

さらに、二択の質問157件を、中立・肯定・否定の3通りに言い換えた471件を加えました。たとえば中立の「乳児はジュースを飲めるか」を、「飲むのは安全か」「飲むのは危険か」の形にします。

取得の条件

項目	設定
対象	Googleの検索結果ページのみ。米国・英語
取得日	2025年4月8〜9日
取得の方法	自動操作のブラウザ（Chrome）。ニューヨーク市の固定のIPアドレスから、Googleにログインせずに検索
場所の確認	別の528件で、米国の5都市を比べ、表示と内容に有意な差は見つからなかった（付録。2024年9月の取得）
評価の担い手	人手。食い違いは3人、ほかの指標は2人が付けた。出典の大分類だけは既存のサイト分類サービスを使用

測った5つの指標

指標	何を見るか	注釈者の一致度（クリッペンドルフのアルファ）
一致・食い違い	2つの回答に、明確に反対の記述があるか。「二択の矛盾」「数字のずれ」「そのほかの問題あるずれ」に分ける。全文どうしと、強調された部分どうしの両方を見る	0.74（100件、3人）
関連	質問のすべての側面に答えているか（高・中・低）。強調部分が最も関連する部分か	0.98（100件）
注意書き	医療の専門家への相談を促す文があるか。「必要・重要」と言い切るもの（明示）と、「場合によって」と選択肢にとどまるもの（暗示）に分ける	0.84（30件）
出典の種類と信頼度	引用元のサイトの種類。上位10%の144サイトは、著者2人が信頼度を高・中・低に手作業で分類	著者2人が合議
回答の気持ちの向き	二択の言い換え471件のうち、肯定・中立・否定のどれに寄った回答か	0.81（33件）

結果

どのくらい表示されるのか

1,508件のうち、AI Overviewsが利用者に見える形で出たのは84%（1,272件）、強調スニペットは32.5%（490件）、両方が同じ画面に出たのは322件（論文の表記は22%。322÷1,508の概算は21%）です。

• 「なぜ」の質問では強調スニペットが15.69%、「いつ」の質問では35.48%でした。AI Overviewsは、どの型でも80〜92%でした
• 質問の言い換えでは、強調スニペットが否定の形で48.41%、中立の形で24.84%と、約2倍の差がありました。AI Overviewsは否定86.62%、中立85.99%、肯定76.43%でした

この84%や33%は、型ごとに数をそろえて作った検索語句での割合です。実際の検索全体での割合を表した数字ではありません。

見えない形で生成されていたAI Overviews

論文は、ページのデータには入っているのに、利用者の画面には出ていないAI Overviewsを157件見つけました。

これらは、関連が低い割合が16%（見える側は約1%）で、強調スニペットと一致する割合も31%（見える側は67%）でした。論文はこれをGoogleが表示を抑えたものとして、主な分析から除いています。

2つの回答は食い違うのか

両方が出た322件で、一致・食い違いを調べました。強調された部分どうしの比較は、図3によると268件が対象です。

食い違いの種類	全文どうし	強調された部分どうし
二択の矛盾（はい・いいえ、安全・危険など）	1.8%	2.6%
数字のずれ（期間、年齢、量、頻度）	18.7%	23.2%
そのほかの問題あるずれ（条件、危険度、前提の違い）	11.8%	14.9%
食い違い（合計）	32.3%	40.7%

• 食い違いの大半は、二択の矛盾ではなく、数字や条件のずれです。強調された部分どうしでは、4割が食い違っています
• 二択の矛盾が出たのは、二択の型の質問だけでした（その型の11.1%）
• 数字のずれは、「どのくらい」の型（全文どうし34.2%、強調部分どうし48.7%）と「いつ」の型（同57.4%、62.5%）で高くなりました
• 質問の型と食い違いの種類には有意な関連がありました（p<0.001）。質問の気持ちの向きとは、有意な関連が見つかりませんでした（p=0.052）

論文は付録で食い違いの例を挙げており、たとえばある食品について、一方は「安全でない」と述べ、他方は「食べてよい食品の1つ」に含めていました。

この記事は、どちらの記述が妥当かを判断しません。妊娠や育児に関する判断は、医師や助産師などの専門家に確認してください。

質問に合った回答だったのか

関連の高さは、AI Overviewsが96.6%、強調スニペットが88.7%でした。低いと判定されたのは、どちらも約1%です。

• 強調された部分が最も関連する部分だった割合は、AI Overviewsで95.5%、強調スニペットで89.5%です

要旨は、関連の評価が高い一方で、注意書きが決定的に欠けていると述べています。

専門家への相談を促す注意書きはあるか

注意書きがない回答は、AI Overviewsで89.4%、強調スニペットで92.8%でした。要旨では、注意書きがある割合を11%と7%としています。

• 明示の注意書きは、AI Overviewsで9%、強調スニペットで4%です。暗示の注意書きは、どちらも2%でした
• AI Overviewsのほうが、わずかに注意書きが多い結果でした。論文は、AI検索は自信に満ちた語り口になりやすいという先行研究の結果と食い違う、と書いています

論文は、どの質問に注意書きが必要かの確立した基準はない、と断っています。論文は、生成AIの検索で専門家への相談を促す注意書きの有無を調べた、最初の体系的な調査だと位置づけています。

どんなサイトを出典にしているのか

出典のドメイン（サイトの住所）は、AI Overviewsで3,779件、強調スニペットで490件、通常の検索結果の10件のリンクで1万4,634件でした。論文の表5から、主な分類の割合を拾います。

サイトの分類	AI Overviews	強調スニペット	通常の10件のリンク
健康・ウェルネス	66%	67%	50%
ビジネス	7%	10%	7%
ショッピング	1%	2%	1%

• 健康・ウェルネスの割合は、AI Overviewsと強調スニペットのほうが通常のリンクより有意に高い結果でした（どちらもp<0.001）
• 強調スニペットは、ビジネスとショッピングの割合が通常のリンクより有意に高い結果でした（p<0.001）。論文は、強調スニペットが1つのページから作られる点を踏まえて、懸念を示しています
• 信頼度を手作業で付けた上位10%の144サイトでは、信頼度が低いサイト（SNSやネット通販など）の割合が、強調スニペットで9%、AI Overviewsで17%、通常のリンクで35%でした
• 信頼度が低いものと中程度のものを合わせると、AI Overviewsと強調スニペットの引用の半分近くを占めます

出典の分類は、質問の型と有意に関連しました（AI Overviewsはp<0.001、強調スニペットはp=0.017）。気持ちの向きとは関連が見つかりませんでした。

質問の気持ちの向きに、回答は引きずられるのか

先行研究には、質問が肯定的か否定的かに、AIの回答が合わせてしまう「確証バイアス」を報告したものがあります。論文は、話題と質問の型をそろえたうえで、これを確かめました。

対象は、肯定・中立・否定の3通りがすべてAI Overviewsを出した118組（354件）です。質問の向きと回答の向きに、有意な関連は見つかりませんでした（カイ二乗検定、p=0.08）。

強調スニペットは、3通りがそろう組が8組しかなく、この分析から外しています。

論文自身が書いている限界

論文は、次の3点を限界として挙げています。

• データの収集は米国と英語の結果に限られます
• 調べたのは1つの時点だけで、時間による変化は追っていません
• 調べたのはGoogleだけです（米国と世界での市場シェアが理由）

このほか、論文は注意書きの扱いについて、「どの質問に注意書きがあるべきかの確立した基準は存在しない」と書いています。

原文を読んで気づいた点

ここからは、この記事を書くために原文を読んで、私が気づいた点です。

• 日本語での検証はありません。検索語句は英語で、取得は米国のGoogleです。日本のGoogleで同じ割合になるかは分かりません
• 表示の割合は、型ごとに数をそろえた標本での値です。付録の別の528件（2024年9月）では、強調スニペットが71.4〜73.9%、AI Overviewsが90.7〜92.6%と、本編の33%と84%とは大きく違います。論文は理由を説明していません。この528件は、研究者自身の経験と米国の利用者パネルの閲覧記録から集めたもので、集め方も時期も本編と違うため、単純に比べられません
• 評価は人手で、自動採点ではありません。長所ですが、食い違いの一致度は0.74で、論文は「中程度」と述べています。第三者による再評価は報告されていません
• 「一致」の意味が緩く定義されています。明確に反対の記述がなければ一致とされます。5つの指標に、回答が医学的に正しいかどうかの判定は含まれていません
• 査読の状況：arXivの記載は「to appear in AAAI ICWSM 2026」です。論文の謝辞に匿名の査読者への謝意があり、書式もAAAI会議録のものです。ただし、掲載後の版かどうかは確認していません
• 数字の細かい食い違いがあります。本文は、Wikipediaなどの「参考資料」の割合を3つとも約1%と書いていますが、表5では通常のリンクが3%です。強調スニペットの注意書きも、明示4%と暗示2%の合計6%に対し、要旨は7%です。丸めなどの差とみられますが、論文は説明していません

この論文から、言えること・言えないこと

言えること（論文の設定で確認された）	言えないこと（論文では確認されていない）
米国・英語・2025年4月の育児・妊娠の疑問形の検索語句で、AI Overviewsは84%、強調スニペットは約33%で表示された	日本のGoogleや、育児・妊娠以外の分野、実際の検索全体での表示割合
両方が出た322件で、全文どうし32.3%、強調部分どうし40.7%に食い違いがあった。大半は数字や条件のずれ	食い違いのどちらが医学的に正しいか、どれだけ害になるか
専門家への相談を促す注意書きを含む回答は、AI Overviewsで11%、強調スニペットで7%だった	注意書きが何%あるべきか、注意書きのない回答が危険であること
出典は健康系のサイトが最多。強調スニペットは、ビジネスとショッピングの割合が通常のリンクより高い	商業系の出典の内容が不正確であること。自社のページが引用される条件
質問の型によって、表示、食い違い、出典の傾向が変わった	質問の気持ちの向きが回答に影響しないこと（有意な関連は見つからなかった、までです）

中小企業の視点で、どう受け取るか

ここからは、論文の主張とは別の、私の読み取りです。この論文はページの書き方の効果を調べていないので、以下は効果の保証ではなく、読者に誤解を与えない書き方の整理です。

1. 数字と条件を、同じ場所に書く

食い違いの大半は、期間や量などの数字のずれと、条件の違いでした。自社のページの文が切り出されても意味が変わらないよう、数字とその前提（対象、時期、条件）を近くに並べて書いておくと、読み違いを防ぎやすくなると考えられます。

2. 専門家への相談を促す文を、自社の言葉で入れる

論文が数えたのは検索画面の側の注意書きですが、自社が健康や育児に関わる情報を出す立場なら、同じ問題は自社のページにも当てはまります。

必要な記事には、専門家への相談を促す旨を入れてください。これは読者のための配慮であり、AIに引用されるための手法ではありません。

3. 商品の紹介と、医療に関わる情報を分ける

強調スニペットは商業系のサイトの割合が高めでした。商品やサービスの紹介と、健康に関わる説明を、ページの中で区別して書き、後者には公的機関や医療機関などの一次情報を示しておくと、読者が判断しやすくなると考えられます。

4. 自社のキーワードを、質問の型ごとに実際に検索して確かめる

論文では、質問の型によって、AI Overviewsと強調スニペットの出方や中身が変わりました。自社に関わる検索語句を、二択、いつ、どのくらいなどの型で実際に打ち、出る枠とその中身を見ると、自社の分野での傾向がつかめます。

よくある質問

AI Overviewsと強調スニペットの食い違いは、AIの回答が間違っているという意味ですか

そうとは限りません。論文は、明確に反対の記述がない状態を「一致」としており、食い違いは正しさの判定とは別の指標です。

食い違いの内訳も、二択の矛盾は1.8%（全文どうし）で、大半は数字や条件のずれでした。

育児・妊娠を調べたこの論文の結果は、日本のGoogle検索にも当てはまりますか

当てはまるかどうかは分かりません。論文が調べたのは、米国の英語の検索結果で、2025年4月の1時点です。

論文自身も、データの地域と言語の限定を、最初の限界として挙げています。

まとめ：今日できる1つのこと

自社のサイトで、数字を含む記事を1つ選んでください。同じ内容を扱う別のページと、数字と条件が一致しているかを確かめます。

ずれが見つかったら、どちらかの根拠を確認して、そろえましょう。

この論文は、LLMO論文の一覧の一本です。ほかの論文の解説も、順次公開しています。

ページを増やしても問い合わせが来ないなら、原因はページの外にあります。その場合は、下の入口からご相談ください。