AIの回答は毎回変わる。1回測って判断してはいけない

「ChatGPTに自社名を聞いてみたら、ちゃんと出てきた」——その1回の結果を、そのまま成果として報告してよいだろうか。私たちが実際に自社について検証したところ、同じ質問を5回投げたときの回答の安定率は18%から67%までばらつき、ある質問では15回中0回しか自社名が言及されなかった。この記事では、なぜAIの回答がこれほど揺れるのか、そして1回の確認で判断してはいけない理由を解説する。

この記事の前提として、LLMO対策に新しい道具は要りませんもあわせてご覧ください。

なぜ同じ質問への回答が毎回変わるのか

生成AIは、あらかじめ用意された答えをデータベースから取り出す仕組みではない。文脈に続く単語を一つずつ確率的に選びながら文章を組み立てている。もし常に最も確率の高い単語だけを選ぶ仕組みにすると、回答は単調で不自然なものになるため、AIはあえて確率に応じたばらつきを持たせて単語を選んでいる。このばらつきの度合いを調整する設定値によって、同じ質問でも毎回違う言葉の並びになり、結果として自社名が挙がるかどうかも回によって変わる。

この設定値を最も控えめにして、ばらつきを理論上ゼロに近づけたとしても、回答が完全に一致するとは限らない。大量の計算を同時に処理する仕組みの都合上、ごくわずかな計算順序の違いが生じることがあり、それが積み重なって最終的な回答を変えてしまうことがあるためである。つまり、生成AIを使う限り、「1回の質問で確定的な答えが返る」という前提そのものが成り立たない。

AIサービスをまたぐと、さらに差が広がる

同じAIサービス内での揺らぎに加えて、AIサービスが変われば言及の傾向もまた変わる。医療分野の診療ガイドラインへの一致度を検証したある学術研究では、同じ質問群に対して、AIサービスごとの一致率が33%から67%まで大きく分かれる結果が示されている。さらに、同一のAIサービスに複数回同じ質問をした際の回答の内的な一致度も、26%から68%の範囲でばらついていた。

別の学術研究では、国家資格試験の問題を複数のAIサービスに解かせ、各サービス単体の正答率はいずれも80%を超えていたにもかかわらず、サービス間でどれだけ回答が一致するかを示す統計指標は、専門家の基準に照らして「一致の度合いはわずか」と評価される水準にとどまった。個々の性能は高くても、複数のAIサービスが同じ結論にたどり着くとは限らないということである。

「正しく見える回答」にも誤りが混ざる

回答の言い回しがなめらかで自信に満ちているほど、読み手はその内容を信じやすくなる。しかし、AIの回答を検証する海外の専門機関が、大手メディアの依頼を受けて実施した大規模な検証では、注目すべき実態が明らかになっている。ユーザーの質問に対して結論として正しく答えられていた割合はおよそ9割に達していた一方で、その正答のうち、提示された引用元の内容と実際には食い違う説明を含んでいた割合は5割を超えていた。つまり、結論そのものは合っていても、その根拠として添えられた説明には誤りが紛れ込みやすいということである。「質問に正しく答えており、かつ添えられた説明もすべて引用元で裏付けられている」という、両方の条件を満たす回答は、全体の4割に満たなかった。この検証結果には、検索エンジン側から「調査の設計に問題がある」という反論も出ている。数値をそのまま鵜呑みにするより、両方の主張を踏まえて受け止める必要がある。

それでも、この検証が示す傾向——結論の正しさと、説明の正確さは別々に評価する必要があるという点——は、AI検索を使う側にとって重要な示唆である。自社の情報がAIの回答に含まれていたとしても、その説明の細部まで正確とは限らない。定期的に内容を確認し、古い情報や誤った説明が紛れていないかを見ておく必要がある。

利用者はAIの回答をどう受け止めているか

AI検索を利用している人を対象にしたある調査では、回答者の8割以上が、AIの回答を「信頼している」と答えている。信頼する理由としては、情報が整理・要約されていることが最も多く挙げられていた。回答の揺らぎや誤りが構造的に起こりうるにもかかわらず、多くの利用者はその回答を疑わずに受け入れているということである。これは、自社に関する誤った情報がAIによって生成された場合、それを多くの人がそのまま信じてしまうリスクがあることも意味している。

複数回試すことが、唯一の現実的な対処法

AIの回答が構造的に毎回変わる以上、1回のプロンプトで「自社が言及された」「されなかった」と判断することに、統計的な意味はない。私たちが実施した検証でも、同じ質問への回答の安定率は18%から67%までばらついており、1回だけの結果を見て一喜一憂すれば、たまたま出た結果に振り回されることになる。

現実的な対処法は、同じ質問を最低でも3回から5回程度は繰り返し、その中で自社名がどれくらいの頻度で挙がるかを見ることである。1回だけ完璧な回答が返ってきたことよりも、複数回試しても安定して言及される状態のほうが、はるかに価値が高い。AI検索対策における評価は、単発のテストより、繰り返し観測した結果の傾向で行うべきものである。