「リモートワークは、生産性にとってよいですか」のような賛否の分かれる質問を、AIに聞く人が増えています。AIの答えは、検索結果に並ぶWebページの意見と、同じ顔ぶれなのでしょうか。
この問いを測った論文が、2026年5月にドイツで開かれた国際会議WebSci ’26で発表されました。題名は「Comparing the Subjective Opinions and Justifications of LLMs and Web Search Engines」です。
この記事は、その論文を原文から読み、本文と図の数値をもとに、何が分かり、どこまで言えるのかを整理します。
合同会社謙虚は、3つのドメインを並行して運用し、何を変えると数字が動くかを測り続けています。この論文は、AIの回答がWeb上の文章の幅をどこまで映すのかを知る手がかりになるため、読みました。
結論:3行で言うと
- 賛成・反対・中立の立場の傾向は、GoogleとBingの間ではよく似ていた一方、AIと検索結果の間では似ていませんでした(質問ごとの賛否の傾きの似かたを表す相関で、検索エンジン同士が0.81〜0.85、AIと検索結果が0.34〜0.47)
- 理由づけでは、AIの回答は事実に訴える形が96〜98%、論理に訴える形も91〜97%でした。検索結果には、傾向として、実際の結果や価値観に訴える理由づけも混ざっていました
- 質問を否定形に変えても、AIが立場を逆にしないことが多くありました。とくに片方のモデルで目立ちました
ただし、この結果は英語の質問と、小型のモデルを使った実験で得られたものです。日本語の検索や、いま使われているチャット画面のAIには、そのまま当てはまらない可能性があります。
この論文の基本情報
| 項目 | 内容 |
|---|---|
| 題名 | Comparing the Subjective Opinions and Justifications of LLMs and Web Search Engines |
| 著者 | Md Taukir Azam Chowdhury、Vagelis Hristidis、Kevin Esterling、Jannat Ara Meem、Zabir Al Nazi(5人。所属はカリフォルニア大学リバーサイド校。計算機科学が4人、政治学が1人) |
| 掲載先・DOI | 18th ACM Web Science Conference(WebSci ’26)の会議録、64〜74ページ。会議は2026年5月26〜29日、ドイツ・ブラウンシュヴァイク。DOIは10.1145/3795766.3799755 |
| 公開日 | 論文の登録情報を管理するCrossrefの記録では、2026年5月25日。論文には、ライセンスが表示4.0国際(CC BY 4.0)と書かれています |
| 種類 | 実験による比較研究(原文に書かれた範囲で、AIの回答と検索結果を集めて自動で分類した研究) |
| 実験データ | 論文の脚注に、GitHubの公開先が書かれています。約10万件のWeb文書、AIの回答、立場と理由づけの分類結果を含むと、論文は述べています |
論文はこちらで読めます。会議録(DOI)。
データの公開先はGitHubです。リンクの先が開くことは私が確かめました。
データの中身は未確認です。
掲載状況は、Crossrefで確かめました。会議録の論文として登録されています。
arXivのプレプリントは、題名で探した範囲では見つかりませんでした。
この論文が答えた問い
賛否の分かれる質問に対して、AIと検索エンジンは、どんな立場を示し、どんな理由でそれを支えているのか。両者は同じなのか、違うのか。
論文は、事実を調べる質問と、価値観や意見で答えが変わる質問を分けて考えます。後者を「主観的な質問」と呼びます。
論文の冒頭には、「政府は化石燃料車を禁止すべきか」「リモートワークは生産性にとってよいか」という例が挙げられています(原文は英語。ここでは英語からの和訳です)。
こうした質問に対する答えが、AIと検索でどう違うのかは、これまであまり比べられてこなかったと、論文は述べています。論文は、LLM(大規模言語モデル。
文章を生成するAIで、この記事では単に「AI」と書きます)とWeb検索を直接比べた、最初の研究だと自分で述べています。
この「初めて」という主張は、論文自身の言葉です。私は文献を調べ直していません。
どうやって調べたのか
論文は、2つの既存の質問集を使いました。1つは討論の論点から作られた質問集(ArguAna)、もう1つは米国の世論調査から作られた質問集(OpinionQA)です。
どちらも、別の研究が「異なる意見を引き出しやすい質問」に絞り込んだ版を使っています。
| 項目 | 内容 |
|---|---|
| 質問 | ArguAnaは250問(平均11.54語)。OpinionQAは294問(平均15.99語)。プライバシー、政治的見解、健康の話題を扱う、米国の市民向けの調査から作られています |
| 質問の例 | 「自由な大学教育は、州の経済にとって有益か」(討論の質問集)、「米国の医療制度は、全面的な改革が必要か」(世論調査の質問集)。どちらも論文の表1にある例で、英語からの和訳です |
| 検索エンジン | GoogleとBing。質問ごとに上位100件ずつ集め、本文を取り出した。取得できた文書は合計98,500件(表2の4つの値の合計。私の計算) |
| AI | ChatGPT側はgpt-4.1-nano(2025-04-14版)、Gemini側はgemini-2.5-flash-lite。元の質問と言い換え4通りで5通り、それぞれの否定形で5通り、合わせて10通りを、質問ごとに聞いた |
| 立場の判定 | 賛成・反対・中立の3つ。Web文書は、著者が最終的に述べた立場とその引用を、小型のモデル(llama3.1-8B)が判定した |
| 理由づけの分類 | 2つの分類を使用。1つは「事実・知識に訴える/実際の行動や結果に訴える/価値観や道徳に訴える」の3分類(論文は、Lippiらの分類と呼びます)。もう1つは「論理・事実(ロゴス)/権威や信頼(エトス)/感情(パトス)」の3分類。1つの理由づけが複数に当たってもよい |
| 指標 | 立場は、賛成を+1、中立を0、反対を-1として質問ごとに平均した値で、情報源どうしの相関(ピアソン相関)を計算。理由づけは、各分類が全体に占める割合 |
AIの回答の数は、10通り×(250+294)問×2モデルで、10,880件です(私の計算)。この数は、論文には書かれていません。
AIには、「賛成・中立・反対のどれかと、その理由を短く答える」という指示が与えられました。検索結果の側は、文書から立場が表れた部分を抜き出す形で、理由づけが集められました。
結果
立場:検索エンジン同士は似ていて、AIは別のまとまりを作った
質問ごとの立場の値について、4つの情報源の相関を計算した結果です(論文の図3)。1.0に近いほど、質問ごとの賛否の傾きがよく似ています。
| 組み合わせ | ArguAna | OpinionQA |
|---|---|---|
| Bing と Google | 0.85 | 0.81 |
| Gemini と ChatGPT | 0.75 | 0.76 |
| Bing と Gemini | 0.34 | 0.47 |
| Bing と ChatGPT | 0.34 | 0.45 |
| Google と Gemini | 0.39 | 0.41 |
| Google と ChatGPT | 0.40 | 0.41 |
- 2つの検索エンジンは、2つの質問集の両方で、高い相関を示しました
- 2つのAIも、互いの相関が0.75〜0.76と高い値でした
- AIと検索の組み合わせは、0.34〜0.47にとどまりました
論文は、検索エンジン同士の相関が高い理由を、「どちらも似た上位ページを返すからだろう」と推測しています。2つのAIについては、似た訓練や調整の手順が原因だろうと推測しています。
いずれも、論文の中で検証された内容ではなく、著者の推測です。
理由づけ:AIは事実と論理に集中していた
次に、理由づけの種類の割合です(論文の図4。1つの理由づけが複数に当てはまるため、合計は100%を超えます)。
まず、事実・行動・価値観の3分類です。
| 情報源 | ArguAna:事実 | 行動・結果 | 価値観 | OpinionQA:事実 | 行動・結果 | 価値観 |
|---|---|---|---|---|---|---|
| 77.6% | 30.5% | 14.9% | 74.8% | 31.6% | 13.8% | |
| Bing | 81.5% | 28.6% | 17.0% | 84.5% | 28.4% | 11.0% |
| ChatGPT | 96.0% | 30.3% | 21.7% | 98.4% | 23.6% | 9.3% |
| Gemini | 97.4% | 15.3% | 18.9% | 98.2% | 11.5% | 7.2% |
次に、論理・権威・感情の3分類です。
| 情報源 | ArguAna:論理 | 権威 | 感情 | OpinionQA:論理 | 権威 | 感情 |
|---|---|---|---|---|---|---|
| 51.0% | 51.8% | 14.3% | 48.2% | 47.3% | 20.7% | |
| Bing | 54.7% | 48.3% | 15.3% | 59.9% | 40.0% | 18.7% |
| ChatGPT | 97.0% | 10.7% | 5.1% | 90.8% | 18.2% | 3.7% |
| Gemini | 96.3% | 20.8% | 6.2% | 90.9% | 29.2% | 4.0% |
- 事実に訴える理由づけは、AIで96.0〜98.4%、検索結果で74.8〜84.5%でした
- 論理に訴える理由づけは、AIで90.8〜97.0%、検索結果で48.2〜59.9%でした
- 感情に訴える理由づけは、AIで3.7〜6.2%、検索結果で14.3〜20.7%でした
- 権威や信頼に訴える理由づけは、検索結果が40.0〜51.8%で、AIは10.7〜29.2%でした
論文の要約は、AIが事実と論理に偏り、検索結果は幅が広いと述べています。表の数字は、その大筋と合っています。
ただし、細かく見ると、モデルや質問集によって値が分かれます。ArguAnaでは、価値観に訴える理由づけの割合が、ChatGPTで21.7%、Geminiで18.9%でした。
検索結果(Googleが14.9%、Bingが17.0%)より高い値です。
行動・結果に訴える理由づけも、ChatGPTは30.3%で、Googleの30.5%とほぼ同じでした。
論文の本文は、行動・結果や価値観に訴える理由づけが、AIにはまばらにしか現れないという趣旨を述べています(英語からの要約)。この文と図の値は、ArguAnaのChatGPTとGeminiで食い違います。
否定形の質問:AIは立場を素直に逆にしなかった
論文は、質問を否定形にしたときに、AIが立場を逆にするかも調べました。例は「自由な大学教育は、州の経済にとって有益ではないか」です(英語からの和訳)。
- 言い換えた質問と、否定形の質問の立場の相関(図5a)は、ArguAnaでChatGPTが-0.09、Geminiが-0.39でした。OpinionQAでは、ChatGPTが-0.20、Geminiが-0.56です。論文は、-1が理想的に一貫した状態だと述べています
- 否定形にしても「賛成」が多数のまま残った質問の割合(図5b)は、ArguAnaでChatGPTが35.2%、Geminiが2.8%でした。OpinionQAでは、ChatGPTが24.8%、Geminiが3.1%です
論文は、ChatGPT側で「賛成に寄る傾向」が強いと述べています。同時に、この傾向は、人間への調査でも知られている現象だと説明しています。
論文自身が書いている限界
論文は、限界を5つ挙げています。
- 立場と理由づけの注釈は、すべてLLMによる分類で作られました。出力の確認と絞り込みはしたものの、ラベルのノイズやモデルの偏りが残る可能性があります
- Webの集め方が、情報源によって違います。GoogleはCustom Search API、Bingはブラウザの自動操作で集めました。後者は、場所や個人設定の影響が出やすいと、論文は述べています
- 英語の質問と、2つの分類だけに限られます。世界の議論の様式や言語の違いを、すべては捉えていません
- 言い換えと否定形の質問は、1つのモデル(Llama-3.1 8B)が作りました。見つかった不整合の一部は、その作り方に由来する可能性があります
- 否定形の質問への反応が安定しないことは、測った立場そのものが安定しない可能性を示します
原文を読んで気づいた点
ここからは、私が原文を読んで気づいた点です。論文の主張ではありません。
- AIは、小型のモデルです。使われたのは、gpt-4.1-nanoとgemini-2.5-flash-liteです。モデル名の指定から、API経由で使ったと見られますが、論文に明記はありません。ふだん使われているチャット画面のAIとは、条件が違う可能性があります。検索機能を使ったかどうかは、論文に記載が見当たりません。AIへの指示は、立場と短い理由をJSONの形で返すよう求める決まった文と、質問だけでした
- 分類もAI(llama3.1-8B)が行っています。人が確かめた件数や一致の度合いは、書かれていません。「定期的に抜き取りで確認した」という記述にとどまります。論文が触れた「太陽は東に沈むか」のような統制質問の結果も、見当たりません
- 検索結果とAIの2つで、理由づけの集め方が違います。Webは、文書から抜き出した引用です。AIは、「短い自然な説明」を生成させたものです。この違いが分類の割合に影響したかどうかは、論文で確かめられていません
- 要約には「有意に異なる」とありますが、統計的な検定の結果は本文に見当たりません。示されているのは、相関の値と割合です
- 本文と図の食い違いがあります。図3の題名は「立場の一致と理由づけの類似」とありますが、図は立場の相関だけです。図4の注記は「記録全体に対する割合」とあり、本文は「「なし」を除いた理由づけに対する割合」と書いています。図5bの縦軸は「質問に占める割合」で、本文の書き方からは全質問に対する割合と読むのが自然ですが、明記はありません。さらに5.4節は、AIの理由づけに権威や信頼(エトス)、感情に訴える要素がほとんどないと書いていますが、図4ではGeminiのエトスの割合が20.8〜29.2%あります
- 否定形の相関の読み方に、分かりにくい点があります。4.5節は、否定形の質問では重みの符号を逆にして立場を数えると述べています。一方で5.3節は、理想は強い負の相関だと述べます。図5aがどちらの数え方なのか、私は原文から確定できませんでした
- 日本語や日本の検索は、調べられていません。質問は英語で、世論調査の質問は米国の市民を対象にしたものです。調べた日付も、書かれていません
- 査読の手続きは、未確認です。会議録への登録は、基本情報に書いたとおりです。ただし、この会議の査読の手続きまでは調べていません
この論文から、言えること・言えないこと
| 言えること(論文が示した範囲) | 言えないこと |
|---|---|
| 英語の賛否の分かれる質問で、2つの小型モデルの立場は、検索結果の立場とあまり相関しなかった(0.34〜0.47) | いま使われているAIの検索機能つきの回答が、同じ傾向になること |
| AIの理由づけは、事実と論理に集中していた(事実に訴える形が96〜98%) | AIの答えの内容が正しくない、検索結果のほうが正しいという評価(論文は、AIの理由づけは多様性が狭いと評価していますが、内容の正しさや、どちらが望ましいかは評価していません) |
| 否定形の質問で、立場が逆にならないことが多かった | AIの立場や理由づけが検索と違う原因が、訓練や調整の手順にあること(論文の推測です) |
| ArguAnaでは、2つのモデルとも、価値観に訴える理由づけの割合が検索結果より高かった | 日本語の質問や、日本のWebページでも同じ結果になること |
| 集めた文書、AIの回答、分類結果が、公開データとして用意されている | 企業サイトの文章が、AIの回答にどう取り込まれるか |
中小企業の視点で、どう受け取るか
ここからは論文の主張とは別の、私の読み取りです。この論文の調べた対象は、AIと検索結果の立場と理由づけです。
自社のページが引用されるかどうかは調べていないため、発信者の立場で言えることは限られます。
- AIの回答と検索結果は、別のものとして見る。賛否の分かれる話題では、検索結果の傾向がAIの回答の傾向と一致するとは限らないことが、この実験で示されました。自社の説明がどう映るかは、検索と各AIで別々に確かめる必要があります
- 価値観や思いを書いたページが、AIの回答に表れるかは、自分で確かめる。この実験のAIは、事実や論理に訴える理由づけが大半でした。ただし、自社のページがAIにどう要約されるかは、この論文では測っていません。創業の思いや価値観を書くときは、まず読者に届くことを優先してください
- 賛否の分かれる話題では、1回のAIの答えで判断しない。否定形で聞いたときに立場が逆にならない例があったからです。質問の言い方を変えて、複数回試すと、安定した答えかどうかが分かります
- 米国・英語の結果を、そのまま日本に当てはめない。質問は英語で、世論調査は米国の市民向けです。日本語の話題やWebページで同じことが起きるかは、別に確かめる必要があります
よくある質問
AIとWeb検索の賛否の分かれる質問への答えは、結局どれくらい違うのですか
この論文の実験では、質問ごとの立場の相関が、検索エンジン同士で0.81〜0.85、AIと検索結果で0.34〜0.47でした。英語の質問と、2つの小型モデルでの結果です。
AIが事実と論理に偏るという結果は、AIの回答が信頼できないという意味ですか
論文が報告したのは、事実や論理に訴える形が多いという点です。内容の正しさは、評価の対象外でした。
ただし論文は、AIの理由づけは検索結果より幅が狭く、Webの多様さを十分に映していないと評価しています。検索結果とAIのどちらが望ましいかは、判定していません。
否定形の質問で立場が逆にならなかった実験は、実際のAIでも起きますか
この論文では、小型のモデルを使った結果しか示されていません。実際のチャット画面のAIで同じことが起きるかは、論文から言えません。
自社の関心がある質問で、言い方を変えて試すのが、確実な確かめ方です。
まとめ:今日できる1つのこと
自社の事業に関わる、賛否の分かれやすい質問を1つ決めてください。それを肯定形と否定形の2通りで、AIに2回ずつ聞き、答えの立場と理由を表に記録します。
答えが言い方で変わるかどうかが分かり、AIの答えをどこまで判断材料にしてよいかの目安になります。
この論文は、LLMO論文の一覧の一本です。ほかの論文の解説も、順次公開しています。
この記事に書いたことを、そのまま御社のページに
生成AIに引用されるページを、お話しいただくだけでお作りします。お時間をいただくのは初回15分のヒアリングだけです。まず1ページ、無料でお作りします。
OKが出るまで、何度でも直します。事実が違う、言い回しが硬い、この話は入れないでほしい。どれも遠慮なくおっしゃってください。何度お直ししても、追加の料金はいただきません。
これまでに127社にご利用いただきました。毎月ご依頼いただいている方の6割以上が、月10ページを選ばれています。料金はページに掲載しています。
ページを増やしても問い合わせが来ないなら、原因はページの外にあります。その場合は、下の入口からご相談ください。
自社のマーケティング課題を根本から解決しませんか?
ウェブサイトから要素を引き算し、訪れた人が迷わず次の一歩に進む形へ組み直す。初回60分のオンラインで御社のサイトを一緒に読み、どこから直すべきかをお伝えします。手順をまとめた無料の診断と解説動画もご用意しています。
初回は無料・60分・オンライン完結・その場で契約のお願いはいたしません


