【LLMO論文解説】名前を出せば99.4%知っているのに、カテゴリの質問では3.32%｜Product Hunt 112社の調査（プレプリント）

「うちの会社名をAIに聞いたら、ちゃんと答えてくれた。だからAI対策は足りている」。そう考えたくなる場面があります。2026年1月にarXivへ公開された論文「The Discovery Gap」は、この安心感に数字で待ったをかけています。単独の著者による、修士論文をもとにしたプレプリントです。

調べたのは、Product Huntという新製品の紹介サイトに載った112社のスタートアップです。製品名を出して聞くと、ChatGPT（の小型モデル）は99.4%の質問で名前を出しました。名前を伏せて「おすすめのツールは？」とカテゴリで聞くと、その割合は3.32%まで下がりました。この記事では、この差が何を意味し、何が言えて何が言えないのかを、原文から整理します。

合同会社謙虚は、3つのドメインを並行して運用し、何を変えると数字が動くかを測り続けています。この論文を読むのは、「名前を聞かれたときの強さ」と「名前を伏せた質問での強さ」を分けて考える手がかりが、自分たちの記事づくりにも要るからです。

結論：3行で言うと

• 製品名を出して聞くと、ChatGPTは99.4%、Perplexityは94.3%の質問で製品名が回答に現れました。名前を伏せたカテゴリの質問では、それぞれ3.32%と8.29%でした
• Perplexityでは、外部サイトからのリンク元の数（被リンクのドメイン数）など、従来のSEOの指標と発見率に関連が見られました。GEOの得点は、どちらのモデルでも発見率と関連しませんでした
• 調べたのは英語圏のテック系スタートアップ112社と2つのモデルだけで、査読前のプレプリントです。日本の中小企業にそのまま当てはめられる結果ではありません

この論文の基本情報

論文はこちらで読めます。arXiv（2601.00912）。会議録のDOIは付いていません。

この論文は、すでに公開しているGEO研究のサーベイ解説の中で、数字だけを紹介しました。今回は原文の全体を読み直しています。

この論文が答えた問い

製品名を出せばAIは知っているのに、名前を出さずに「おすすめは？」と聞かれたとき、新しい製品はどれだけ回答に出てくるのか。

著者は冒頭で、こんな例を挙げています。ChatGPTに「Notionとは何か」と聞けば詳しく答えます。ところが「おすすめのメモアプリは？」と聞くと、Notionが出てこないことがあります。この「知っている」と「薦める」の隔たりを測ったのが、この論文です。

「知っている」と「薦める」は別の仕事

名前を出して聞かれたとき、AIは名指しされた対象について説明すればよく、思い出せれば答えられます。カテゴリで聞かれたとき、AIは数え切れない候補の中から、数個を自分で選んで並べます。同じ会社でも、選ばれるには「思い出される」より高いハードルを越える必要があります。

論文は、この差が生まれる理由として3つを挙げています。

• 発売が学習の締め切りより後の製品は、そもそも知識の中にありません（論文は「新しさの壁」と呼んでいます）
• 学習データには、有名な企業についての文章が多く含まれます。新しい製品についての文章は少なくなります
• 名前を聞く質問は事実を思い出す動きを引き出し、カテゴリを聞く質問は推薦の動きを引き出します。両者の動きは別物だろう、と論文は述べています

これらは論文の考察です。3つの理由を分けて検証した実験は、この論文には含まれていません。

どうやって調べたのか

対象と質問

質問の例

名前を出す質問は、「What is [製品名]?」「Tell me about [製品名]」「Have you heard of [製品名]? What does it do?」の3種類です。

カテゴリの質問は7種類です。「2025年に登場した〇〇ツールのおすすめは」「新しい〇〇製品を薦めて」「〇〇のスタートアップで見ておくべきものは」「〇〇のソリューションを探している。選択肢は」といった型で、〇〇には製品の主なカテゴリが入ります。

なお、7問のうち複数は「2025年に登場」「新しい」「最近注目されている」と、新しさを条件にしています。ここは後の「気づいた点」で触れます。

あわせて集めた指標

論文は発見率との関連を見るために、次の情報も製品ごとに集めました。

• Product Huntでの成績（支持の数、コメント数、その日の順位）
• 従来のSEOの指標（外部から張られたリンクの元サイトの数、影響力の目安など）。DataForSEOという外部の計測サービスの値です
• コミュニティでの話題量（Redditでの言及数、GitHubの星の数、Hacker Newsの得点）
• GEOの得点（サイトの文章に、統計、引用、専門用語、構造化データ、内容の深さなどを、主に正規表現という機械的な文字列検索で数えた6軸の平均）

結果

名前を出した質問と、伏せた質問の差

分母は、名前を出す質問が112製品×3問=336回、カテゴリの質問が112製品×7問=784回です。差の倍率は、99.4を3.32で割ると約30、94.3を8.29で割ると約11で、論文の値と合います（概算）。

読み取れることは次のとおりです。

• ChatGPTでは、112製品のうち、カテゴリの質問で1回でも名前が出たのは6製品でした。残りの106製品は、7問のすべてで名前が現れませんでした
• Perplexityは、Web検索を使うぶん発見率が高く、ChatGPTの約2.5倍です（8.29÷3.32、概算）。それでも、カテゴリの質問で製品名が現れた割合は1割に届きません
• サーベイ解説で紹介した数字（99.4%から3.32%、94.3%から8.29%）は、原文の表と一致しました

何が発見率と関連したのか

論文は、製品ごとの発見率と各指標との相関（2つの数字が同じ方向に動く度合い。+1に近いほど強い正の関連）を計算しています。ここでも数字が示すのは「関連があった」までです。論文は「SEOの土台を先に作れば、AIでの見え方はついてくる」という助言も書いていますが、相関だけの分析から言える範囲を超えています。

• ChatGPTでは、有意な関連が1つもありませんでした。GEOの得点も r=-0.108（p=0.256）で、偶然と区別できる水準に届きませんでした。論文は、発見が「ほぼ偶然」に見えると書いています
• Perplexityでは、表B.1に有意な関連が7つ並びます。上の表はその一部で、ほかに「リンクの質を表す指標」や「話題にしたコミュニティの数」などがあります
• Redditの数字は、途中で集計をやり直しています。「Cursor」「Solar」のように一般的な単語と同じ名前の製品は、無関係な投稿まで拾って言及数が膨らむため、こうした52製品（標本の46%）を除いた60製品で再計算しました。やり直す前の相関は r=+0.052（p=0.586）で、関連は見えませんでした
• GitHubの星とHacker Newsの得点は、どちらの分析でも有意ではありませんでした

論文はGEOの得点に関連が出なかったことを、GEOは触媒ではなく乗数のように働く（multiplier rather than a catalyst）と説明します。すでに見つけられている製品なら文章の工夫で増やせるが、見つけられていない製品には掛ける元の数字がゼロだ、という理屈です。これは論文の解釈で、検証は今後の課題です。

論文自身が書いている限界

論文は5.4節で、次の4点を自分で挙げています。

• 標本がProduct Huntだけに限られ、開発者向けツール、生産性ツール、AIに偏ります。消費者向け製品や企業向けソフトでは、結果が違うかもしれません
• 試したモデルは2つだけです。ClaudeやGeminiなどでは違う傾向が出る可能性があります
• Redditの集計で標本の46%を除いたため、コミュニティの分析は統計的な力が下がっています
• GEOの得点は正規表現による採点で、文章の質の細かな違いは捉えられていない可能性があります

原文を読んで気づいた点

ここからは論文が挙げていない、私が原文を読んで気づいた点です。

• 「知っている」は、名前の文字列が出たかどうかで測られています。付録Cによると、判定は製品名の文字列が回答に現れたかどうかだけです。名前を出す質問では、質問文に製品名が入っているので、「その名前は存じません」という回答でも成功に数えられる余地があります。99.4%が「内容を正しく説明できた割合」だとは、原文からは読み取れません
• ChatGPTと呼ばれているのは、小型モデルのAPI呼び出しです。gpt-4o-miniを、検索機能なしで試しています。一般の人が画面で使うChatGPTとは、モデルも検索機能の有無も異なる可能性があります。私の知る限り、このモデルの学習データは2023年ごろまでです。2025年に登場した製品を99.4%認識できているのは不思議に見えます。名前の文字列だけで判定している点と、関係があるかもしれません
• 1回の実行で、しかも温度0.7です。同じ質問を繰り返して結果の揺れを見る作業は、論文に載っていません。発見率3.32%と8.29%は、1回の実験での値です
• カテゴリの質問は、新しさを条件にしたものが多く含まれます。「2025年に登場した」「新しい」「最近注目されている」という聞き方です。新製品が出にくい質問文になっていた可能性があり、通常の「おすすめは？」では割合が変わることも考えられます
• GEOの得点は、GEOの原論文の実験とは別物です。原論文は、同じページを書き換えて前後を比べました。この論文は、サイトの文章を機械で採点した得点を、発見率と並べて相関を見ただけです。「GEOは効かなかった」という書き方は、この論文の設定では強すぎます
• ChatGPTで発見された製品は、6件にとどまります。大半の製品で発見率がゼロなので、相関が出にくい構造です。関連が見つからなかったことは、関連がないことの証明にはなりません
• 相関の分析は多数の指標を並べて行っています。指標が多いと、偶然に有意になる組み合わせが混ざりやすくなります。論文には、この調整の記載が見当たりません
• 日本語での検証は論文に載っていません。質問も対象サイトも、すべて英語です
• 評価はすべて自動です。人が回答を読んで、推薦として妥当かを確かめた作業はありません
• 母集団の書き方が、本文と結論で違います。本文と3.1節は「上位500製品から選んだ」とだけ書き、結論で初めて「1825のうち上位500」と出てきます。母集団の定義が本文では説明されていません

この論文から、言えること・言えないこと

「30対1」は、質問の種類ごとの成功率の比です。100社のうち3社しか薦められない、という意味ではなく、この実験の質問文とこの判定方法での比だと読んでください。

中小企業の視点で、どう受け取るか

ここからは論文の主張とは別の、私の読み取りです。論文の対象は英語圏のテック系スタートアップで、日本の中小企業は調べられていません。当てはまる程度は、確度を添えて書きます。

1. 「名前を聞けば答える」は、安心材料になりにくい

自社名をAIに聞いて答えが返ってくることは、確認としては役に立ちます。ただし、この論文が示唆するのは、それが「探している人に薦められる」ことの保証にならない点です。確度は中程度です。同じ現象が日本語でも起きるかは、これから確かめる必要があります。

2. 名前を知らない人の質問に答える記事を、優先する

お客様の多くは、最初は社名を入れずに探します。「〇〇で困っている」「〇〇はどう選ぶ」と、課題やカテゴリの言葉で探し始めます。この論文が測ったのは、まさにその入り口で新しい製品が拾われにくいという現象です。KCWでは、指名の質問に備える記事より、課題やカテゴリの質問に答える記事を先に置く方針を取っています。この論文は、方針を支える材料の一つです。ただし、記事を書けば薦められるようになることを示した研究ではないので、確度は低めです。

3. 文章の工夫だけでなく、外からの言及も同時に見る

Perplexityでは、リンク元の数やコミュニティでの話題量に関連が見られました。文章の書き方を整えるだけでなく、自社の外にどれだけ言及があるかも、見え方に関わる可能性があります。ただし相関にとどまり、日本のサイトでの検証は載っていません。確度は低い、として扱ってください。

4. 「名前が出た」と「薦められた」を分けて数える

自社の見え方を確かめるときは、社名入りの質問と、社名なしの質問を分けて試すことをおすすめします。前者だけを見て「出ている」と判断すると、この論文が示した差を見落とします。後者は、同じ質問を何度か繰り返して、揺れも記録してください。論文の実験も1回だけの結果なので、1回の出方で一喜一憂しないほうが安全です。

よくある質問

GEOをやっても意味がない、という論文ですか

違います。著者自身も、GEOが効かないと主張しているわけではないと書いています。言っているのは、発見されていない新製品では、GEOの得点が発見率と関連しなかったという範囲です。しかも、その得点は機械的に数えた指標です。GEOの原論文の実験と直接比べる設計にはなっていません。詳しくはGEO原論文の解説記事をご覧ください。

ChatGPTの3.32%は、自社にも当てはまる数字ですか

そのまま当てはめるのは早計です。この数字は、Product Huntの人気製品112社を、検索機能のない小型モデルに、英語で、新しさを条件にした質問で聞いた結果です。日本の中小企業、日本語の質問、いまのChatGPTでは、別の値になる可能性が十分にあります。

プレプリントの数字は、どこまで信じてよいですか

査読を受けていない論文は、他の専門家による点検の前の段階にあります。この論文は修士論文をもとにした単独の著者の研究で、追試も見つかっていません。数字は「一つの観察例」として読み、他の研究で同じ傾向が出るかを待つのが安全です。

まとめ：今日できる1つのこと

自社の主力サービスについて、社名を入れない質問を3つ考えてください。お客様が最初に入れそうな、課題の言葉やカテゴリの言葉で作ります。それをAIに聞いて、自社が出てくるかを記録します。出てこなかった場合も、論文と同じ現象だと決めつけず、まず現状の記録として扱ってください。まず自社の現状を、指名の質問と分けて把握することが出発点です。

この論文は、LLMO論文の一覧の一本です。ほかの論文の解説も、順次公開しています。

ページを増やしても問い合わせが来ないなら、原因はページの外にあります。その場合は、下の入口からご相談ください。