【LLMO論文解説】ChatGPT流入の伸びは施策の効果か、成長の追い風か｜対照ページで切り分けた1サイト分析（プレプリント）

「ChatGPTからの流入が、半年で数倍になった」。AI検索への対策（LLMOやAEO）の成功事例では、こうした数字がよく紹介されます。けれども、ChatGPT自体の利用者が急に増えている時期です。何もしなかったサイトの流入も、増えていたかもしれません。では、施策の効果は、どこまでが本物なのでしょうか。

この問いに、1つのサイトの実データで答えたのが、2026年6月に公開された論文「Disentangling Answer Engine Optimization from Platform Growth: A Log-Based Natural Experiment on ChatGPT Referral Traffic」です。著者は、分析対象のサイトを運営するGlasp社の2名です。この記事は、原文を通読し、施策の中身、対照の作り方、「原因が確立した」と言えない理由を整理します。

合同会社謙虚は、3つのドメインを並行して運用し、何を変えると数字が動くかを測り続けています。この論文は、成果報告で何と比べるべきかを、具体的な数字で示しています。数値は論文の値を拾い、私が計算した値には「概算」と添えました。

結論：3行で言うと

• 1つのサイトで、ChatGPTからの流入は全体で5.7倍、施策をしていないページでも3.5倍に増えました。生の倍率の大部分は、対照ページの伸び（プラットフォーム成長の代理指標）と同じ動きでした
• 施策をしたページと、していないページの比を時系列で分析すると、施策の時期に合わせた段差は1.82倍（95%区間は1.31〜2.54）でした。ただし最も保守的な検定ではp=0.16で、著者自身が「示唆的だが、決定的ではない」と述べています
• これはGlasp社の1サイトだけの分析です。施策は4つがまとめて実施され、どれが効いたのかは混ざったままです。他のサイトへ当てはめるには、追加の確認が要る数字です

この論文の基本情報

項目	内容
原題	Disentangling Answer Engine Optimization from Platform Growth: A Log-Based Natural Experiment on ChatGPT Referral Traffic
著者	Keisuke Watanabe、Kazuki Nakayashiki（2名。いずれもGlasp社所属。貢献は同等と論文に明記）
公開日	2026年6月3日にarXivへ投稿（PDFの日付は6月4日）
arXiv番号	2606.04362（分野はcs.IR、情報検索）
掲載・採択状況	arXivのプレプリントです。9ページ、図4点、表1点。学会や論文誌への採択の記載は、arXivのコメント欄にも論文の書式にも見当たりません
種類	実サイトのログを使った事後の観察研究（自然実験）。事業上の判断で決まった施策を後から分析したもので、無作為化した実験とは別物です
データ・コード	月次・週次の集計データと分析用スクリプトを補助資料として提供、と論文は述べています。公開先のURLは、本文で確認できませんでした。実数は伏せられ、指数と倍率だけが載っています

論文はこちらです。arXiv（2606.04362）、DOI（arXivが付与したもの）。

この論文は、サーベイ論文の解説記事で、「5.7倍、施策なしでも3.5倍、追加の効果は1.82倍」という形で紹介した1本です。今回、原文で数値を照合し、一致を確認しました。

この論文が答えた問い

AI回答エンジン向けの最適化（AEO）で流入が増えたとき、そのうち施策による分は、ChatGPTという場の成長分をどれだけ除いた後に残るのか。

AEOは、ChatGPTなどの回答に自社ページが引用され、リンクから読まれるようにする取り組みです。GEO（生成エンジン最適化）と近い概念で、論文は、SEOやGEOと部分的に重なるものとして扱っています（原論文の解説）。

原論文は、実験用の装置で「AIの回答での見え方」を測りました。今回の論文が扱うのは、その次の段階、実際のサイトに届いた訪問数です。公表されている成功事例の多くが1つの大きな倍率だけを示し、それがChatGPTの急成長で膨らんでいる点を、論文は問題にしています。

どうやって調べたのか

対象と、2つのグループ

対象は、ウェブ上の文章に線を引いて保存するサービスを運営する、glasp.coです。このサイトには、YouTube動画の内容を質問と回答の形でまとめたページが、数十万件あります（原文は「hundreds of thousands」）。このページ群を、施策を受けた「処置群」としました。

サイトの残りのページ（長めの記事、発見用のページ、利用者のプロフィール、閲覧画面）には、施策が入りませんでした。これが「対照群」です。同じドメインなので、ドメインの評価、ChatGPTの成長の追い風、計測の設定、ロボットの除外ルールがそろいます。ここが、この研究の設計でいちばん大事なところです。

項目	内容
処置群	/youtube/ 以下のページ群（数十万ページ）
対照群	同じドメインの、それ以外のすべてのページ
施策の時期	2026年1月（開始日は概算。論文は「1月の最初の週」と置いています）
流入の数え方	Google アナリティクス4で、流入元にchatgptを含むセッション。他のAIサービスの合計は、AI経由の流入の1%未満で、除外
指標	全セッションと、実際に読まれた「エンゲージセッション」（ロボットの雑音に強い）。検索の影響はSearch Consoleで確認
観察期間	2025年7月〜2026年5月28日。施策前が26週、施策後が21週

施策の中身（論文の第4節）

処置は、次の4つを組み合わせたものです。論文は「まとめて実施したので、効果は個別ではなく合計で見る」と述べています。

番号	施策	やったこと
1	URLの正規化	同じ内容が、題名にもとづくURLと、動画番号にもとづくURLの2通りで見られていました。これを動画1本につき1つのURLに統一しました
2	ロボットの404から需要を探す	AIのロボットが、存在しないURLを取りに来た記録（404）を「需要の信号」とみなしました。頻度が高かった型から、新しいページを作りました
3	題名と冒頭要約の書き直し	題名を疑問文にし、冒頭の要約（TLDR）を、それだけで答えになる2〜3文へ書き直しました。AIロボットのアクセスが多いページから優先しました
4	検索を守るルール（論文の呼び名は「SEO Guard」）	直近でGoogleのクリックを一定数集めているページは、書き直しを禁止しました。検索にもAIにも需要がないページは非公開にし、残りを書き直しの順番待ちに入れました

施策は4つの束です。施策2でページ数も増えたので、測った効果には「既存ページの改善」と「ページ数の増加」が混ざります。

対照の作り方と、推定の方法

論文は、処置群の流入を対照群の流入で割った比（週ごと）を作り、その対数を時系列で分析しました。ChatGPTの成長が両方のグループを同じ割合で押し上げるなら、比は成長の影響を受けにくくなります。

分析の名前は「中断のある時系列分析（ITS）」です。施策前から続く傾き（もともとの伸び）、施策の時点での比の段差（今回の主役）、施策後の傾きの変化を、同時に推定します。

統計の安全策として、論文は次の2つを足しています。

• 週ごとのデータは前後が似るので、その連続性に強い標準誤差（ニューウェイ・ウェスト法。論文中の略称はHAC）を使う
• 施策の前だけの期間に、偽の施策日を置いて段差を推定する「時点のプラセボ検定」で、1月の段差がどれだけ珍しいかを見る

施策前の期間は、2025年の後半に限りました。2025年前半は流入がまだ少なく、比が小さな数の揺れに左右されるからです。

結果

生の倍率は、大きく見える

日ごとの最小値（1月上旬）から最大値（5月5日）までの倍率は38.2倍でした。ただし5月5日は一時的な急上昇で、5月下旬の水準はその半分未満です。論文は、この倍率を推定に使わず、月ごとの合計に切り替えました。

月ごとの合計では、ChatGPTからの流入は全体で5.7倍でした（原文は、対照群の3.5倍と同じ期間の値としています。表1から、1月から5月と読めます。5月は28日までの途中集計です）。しかし、同じ期間に処置群は6.1倍、対照群は3.5倍でした。

表1：処置群と対照群の推移

次の表は論文の表1です。各グループ内で2026年1月を100とした指数で、比Rは、処置群の実際の量を対照群の実際の量で割った値です。

月	処置群（指数）	対照群（指数）	比R
2025年7月	46.5	227.4	0.95
2025年10月	59.8	138.0	2.02
2025年12月	31.3	76.5	1.91
2026年1月	100.0	100.0	4.67
2026年3月	273.8	177.2	7.21
2026年5月	609.8	348.5	8.16

論文が示す単純な差の差（成長率の比）は、セッションで1.75倍、エンゲージセッションで2.48倍です。処置群の6.1倍を対照群の3.5倍で割ると約1.75で、整合します（概算：6.1÷3.5）。

時系列分析の結果

週ごとの比の対数に、47週分のデータ（施策前26週、施策後21週）を当てはめた結果は、次のとおりです。

推定するもの	結果	読み方
施策前の傾き	週+0.027（約+11%／月）、p=0.007	施策の前から、処置群は対照群に対して比を伸ばしていた
施策時点の段差	1.82倍（95%区間1.31〜2.54）、p=0.001	施策の時期に合わせて、比が1回で1.82倍へ跳ねた
傾きの変化	p=0.53（有意でない）	施策の後も、もとの傾きが続いた。変わったのは水準で、傾きではない
終盤の比と施策前の平均の比	4.85倍（区間2.63〜5.55）	段差と、もとの傾きの続きが混ざった値。論文は、施策の効果として読まないよう述べています

1.82倍は、処置群と対照群の比が、施策の時点で1.82倍に跳ねたという意味です。何もしていないページに比べて、施策したページの流入が約8割多くなった、と読めます。

別の指定でも、同じ範囲に収まった

段差の推定は、エンゲージセッションだけで数えると2.27倍（p=0.001）、5月上旬の急上昇の週を除くと1.83倍（p=0.001）、施策前の期間を2025年9月から始めると2.07倍（p=0.0002）でした。論文は、これを「1.8〜2.3倍」と結論にしています。

検索への影響

• 処置群のGoogle検索クリックは、2025年後半の水準から約25%減り、サイト全体も同じ期間に約20%減りました
• 表示回数は通常の範囲で、期間の終わりには基準の付近に戻りました。インデックスは維持されました
• 「AIに引用されると、通常の検索まで上がる」という好循環の主張は、この期間では裏づけられませんでした

なぜ「原因が確立した」と言えないのか

ここが、この論文の核心です。論文は、1.82倍が有意だと示しながら、同時に「示唆的であって、決定的ではない」と述べています。理由は、次の5つに整理できます。

理由1：最も保守的な検定は、基準を満たさなかった

施策の前の期間に、偽の施策日を各週に置いて段差を推定すると、偽の段差の平均は0.24、最大は0.65（対数の値）でした。実際の1月の段差は0.60です。偽の段差の絶対値の最大は、本物の段差と同程度でした。並べ替え検定のp値は0.16で、通常の基準0.05より大きい値です。

短くて揺れの大きい施策前の期間は、施策がなくても、大きな段差のような動きを作れるということです。回帰のp=0.001（連続性を考慮した標準誤差）は有意でした。2つの検定が食い違う点を、論文は隠さずに書いています。

理由2：施策の前から、比は上がっていた

施策前の傾きは、月に約11%の上昇で、これも有意でした。処置群は施策の前から、対照群より速く伸びていました。段差の推定はこの傾きを分けて扱いますが、施策前の期間は短めです。

理由3：施策が束で、ページ数も増えた

4つの施策は、互いに絡み合っています。新しいページが増えた分も、効果に含まれます。「題名を疑問文にしたら効いた」といった個別の結論は、この論文から引き出せる範囲の外です。

理由4：計測のルールが途中で変わった

3月中旬に、ロボットを除く設定（ボットのフィルタリング方針）が変わりました。ChatGPTからの流入のエンゲージ率は、1月の0.486から5月の0.896へ上がり、跳ね上がりは3月中旬に集中していました。上昇は処置群のほうが大きく、論文は、内容と質問の一致が良くなったことと、フィルタリングによる構成の変化の両方が考えられるとしています。1月の段差は、この変更の約2か月前の出来事です。私は、変更が段差そのものを作った可能性は低いと読みましたが、3月以降の数字には影響し得ます。

理由5：無作為化の実験ではない

施策は、事業上の判断で決まりました。書き直す対象をくじ引きのように選ぶ設計とは異なり、論文も、無作為化した効果は主張しないと最初に述べています。

論文自身が書いている限界

論文の第7節（妥当性への脅威）と第9節にある限界です。

• 施策前から、比の上向きの傾きが有意にある
• 波及の可能性。ドメイン全体の引用されやすさが上がれば対照群も恩恵を受け、差は小さく見積もられます（報告の効果は控えめ側、と論文は述べています）
• 施策の開始日が正確ではない（2025年12月〜2026年1月の幅があり、1月と近似している）
• 3月中旬の計測ルールの変更
• 施策が束で、個別の効果が混ざっている
• 1つのサイトとほぼChatGPTだけが対象で、他での成否は未検証
• 処置群と対照群はページの目的が異なり、条件をそろえた対応づけは未実施
• 今後の課題は、無作為化した第二段階、対照群の対応づけ、複数のサービスとドメインでの再現、プラットフォーム全体の流入指数

原文を読んで気づいた点

ここからは、論文に書かれていない点を含む、私の気づきです。

• 著者は、分析したサイトの運営会社の人です。これはGlasp社の自社報告で、第三者が検証した結果とは別物です。限界を詳しく書いた誠実な論文だと私は感じましたが、立場は頭に置いて読みたいところです
• 査読を経たかどうかは、確認できませんでした。arXivのコメント欄は「9ページ、図4点、表1点」だけで、学会や論文誌の記載がありません
• 実数が伏せられています。規模感（数十万ページ、対照群で週に数千〜数万セッション）は書かれていますが、実数は伏せられています。月に何件増えたのかは、読み取れません
• 対照群の指数が、施策前に大きく動いています。表1では、対照群が2025年7月の227.4から12月の76.5へ下がり、1月に100へ戻っています。処置群も46.5から31.3へ約3割下がっていますが、対照群の下がり方（約66%減）のほうが大きく、その結果、両者の比は0.95から1.91へ上がっています。施策前の傾きが有意に上向きなのは、この比の上昇を反映したものと読めます（これは私の推測です）。この半年の対照群には、追い風による押し上げが見えず、対照群だけに固有の要因があった可能性もあります。この動きの理由は論文中で説明されていません
• 日本語サイトでの検証は、範囲の外です。対象ページの言語も原文に書かれておらず、日本語サイトで同じ動きになるかは不明です

この論文から、言えること・言えないこと

言えること（論文の証拠がある）	言えないこと
この1サイトで、ChatGPTからの流入の生の伸び（全体5.7倍、処置群6.1倍）の多くは、施策のない対照群でも起きていた（3.5倍）	AEOの施策で、他のサイトでも流入が1.8倍になる
施策の時期に合わせて、処置群と対照群の比が1.82倍に跳ねた（区間は1.31〜2.54）	施策が原因でその段差が起きたと確定すること（保守的な検定はp=0.16）
読まれた流入に絞っても、5月の急上昇を除いても、段差は1.8〜2.3倍に収まった	4つの施策のうち、どれが効いたのか
処置群の検索クリックの減り方（約25%）は、サイト全体（約20%）と近かった	書き直しが検索にも効くこと。検索を守る規則の効果が他のサイトでも働くこと
成功事例の倍率には、プラットフォームの成長が混ざっている（この例では、混ざりが大きい）	公表されている成功事例の倍率が、ほとんど過大であること（論文の要旨は含意として述べますが、本文の第8節は疑いにとどめ、他の事例は調べていません）

中小企業の視点で、どう受け取るか

ここからは論文の主張とは別の、私の読み取りです。

1. 「増えた」の報告は、何と比べたかを先に確かめる

AI経由の流入が数倍になった、という報告を見たら、まず「手を加えなかったページはどうだったか」を聞きたくなります。この論文では、処置ページは6.1倍、対照ページは3.5倍で、両者の比が施策の時期に1.82倍の段差を作りました（示唆の段階）。対照を置くと、見え方が大きく変わります。

2. 自社の記事では、「触らなかった記事」を残しておく

すべてのページを一斉に書き直すと、比べる相手が消えます。書き直す記事と、あえて触らない記事に分けておけば、この論文と同じ形の比較ができます。比べる相手があれば、成果報告は「増えました」から一歩進みます。

3. 検索を守るルールは、参考になる

Googleのクリックを集めているページは、書き直しの対象から外す。この規則を入れたサイトで、検索クリックの減り方はサイト全体と近い水準でした。規則単独の効果は測られていませんが、既存の記事を直すときの、安全側の考え方として使えます。

よくある質問

Q. 1.82倍というのは、AEOをすれば流入が1.8倍になるということですか。

いいえ。1.82倍は、このサイトの処置群と対照群の比が、施策の時期に跳ねた大きさです。ほかのサイトでの再現は未確認で、保守的な検定のp値は0.16と、基準の0.05より大きい値です。1つの事例の示唆として読むのが適切です。

Q. 5.7倍という数字は、間違いだったのですか。

数字自体は正確です。論文の月ごとの集計で、ChatGPTからの流入は全体で5.7倍でした。ただし、施策のないページも3.5倍に増えています。5.7倍は、何と比べた数字かを添えて読む必要があります。

まとめ：今日できる1つのこと

次にAI経由の流入を報告するときは、「増えた倍率」の隣に、「手を加えなかったページの倍率」を並べてください。この論文では、処置ページの6.1倍の隣に、対照ページの3.5倍を置くと、施策の時期の段差は1.82倍（示唆の段階）でした。書き直す前に、触らないページを数本決めておくのが準備です。

この論文は、LLMO論文の一覧の一本です。ほかの論文の解説も、順次公開しています。

ページを増やしても問い合わせが来ないなら、原因はページの外にあります。その場合は、下の入口からご相談ください。