【LLMO論文解説】llms.txtは実際に読まれているか｜39件の資料の点検と24タスクの試験（IEEE FLLM 2026採択と記載）

2026年11月5日

AIに自社サイトを読んでもらうためにllms.txtというファイルを置く方法が話題になっていますが、AIは実際にそのファイルを読み、答えを変えているのでしょうか。この記事では、原文を通読して、何が確かめられ、何が確かめられていないのかを整理します。

この問いを、公開された調査や記録を集めて点検した論文があります。2026年10月に公開された「Manifest-Assisted Retrieval in Artificial Intelligence Search: Evidence Gaps and a Security Evaluation」です（arXivのcomment欄に、IEEE FLLM 2026に採択と記載）。

著者らは、集めた証拠で分からなかった部分を示したうえで、小さな追加実験を行っています。

合同会社謙虚は、3つのドメインを並行して運用し、何を変えると数字が動くかを測り続けています。この論文は、「置いたこと」と「効いたこと」を分けて考える練習として読めるので取り上げました。

結論：3行で言うと

論文が集めた39件の資料の範囲では、llms.txtを置くと、AIの答えやAI検索への表示がどう変わるかを、他の条件をそろえて測った研究は見つかりませんでした
引用された調査では、15のツールで45回試しても自動取得はなく、ファイルが見つかったドメインの97%に、2026年5月の記録上のアクセスがありませんでした（いずれも条件つきの観測です）
著者らの24タスクの小さな実験では、悪意ある内容をファイルに書き込み、文章としてそのまま読ませると、24回中21回の回答が誤った目標を採用しました。ただし、正しい情報をあらかじめ渡し、実際のAI検索は使っていない条件です

この論文の基本情報

項目	内容
原題	Manifest-Assisted Retrieval in Artificial Intelligence Search: Evidence Gaps and a Security Evaluation（PDFの表紙の題には、末尾にFramework for llms.txtが付いています）
著者	Gangzhen Qian、Kainan Zhou、Chuhong Xu、Hang Xiao、Zhi Jing、Rong Bao、Lu Yi、Zhaoyi Li（8人。所属はいずれも民間企業）
公開日	2026年10月28日（arXiv v1）
arXiv番号	2610.38361（主分類はcs.CR、暗号とセキュリティ）
掲載・採択状況	arXivのcomment欄に「Accepted at IEEE FLLM 2026. Author accepted manuscript」と記載。8ページ
種類	非系統的な証拠の点検（39件の資料）と、小規模な実験（24タスク・120回答）の組み合わせ
実験データ・コード	改訂版に同梱した資料（資料の台帳、30件の検査データ、採点コード、120件の生の回答など）があると、論文は書いています。公開リポジトリやDOIは、まだ無いとのことです

論文はこちらで読めます。arXiv（2610.38361）、DOI（10.48550/arXiv.2610.38361）。

作り方や設置の手順は、llms.txtの作り方と設置手順の記事にあります。この記事は、置いたあとに何が確かめられているかを扱います。

この論文が答えた問い

llms.txtをAIが利用すると、安全性や有用性は、ふつうの検索と比べてどう変わるのか。それを示す証拠は、いまどこまであるのか。

llms.txtは、サイトの入り口に置くMarkdown形式の案内文です。概要の文章と、読んでほしいページへのリンク集を載せます。

似たrobots.txtは、クローラー（巡回する自動プログラム）にアクセスの可否を伝えるものです。llms.txtが渡すのは文章とリンクだけで、信頼や順位づけ、許可、実行の決まりは、仕様の外に残されています。

論文の出発点は、次の点です。ファイルがあることと、AIが取りに来ること、信頼すること、引用すること、行動することは、別の事柄です。

そこで論文は、流れを「公開」「取得」「モデルによる利用」「行動」の4段階に分け、段階ごとに証拠がどこまであるかを調べています。

どうやって調べたのか

論文は、3つの作業でできています。

作業	内容
証拠の点検	2026年8月5日に研究、標準、仕様、製品の公式文書、運用の調査を集め、8月16日に再確認して39件を残しました。うち15件は、公開から行動までの各段階を取り上げるよう意図的に選んだ「中心となる研究」です。10月に2件を追加しています
安全性の枠組み	攻撃の道筋を5つに分け、「ファイルがある場合」と「ない場合」の差で損失を測る式を定義しました。さらに、ファイルの読み取りと取得の前の判断を行うプログラムを、30件の検査データで確かめています
小規模な実験	8つのサイト、3問ずつ、5つの条件で、合計120回の回答を取りました。ふつうのページの情報は固定したままです

点検は「非系統的」で、検索に使った語句や除外した件数は、再現できる形で残っていないと論文は書いています。選別と抽出は1人の担当者が行ったため、「見つからなかった」は残した資料の範囲の話です。

結果

llms.txtの利用実態：置かれてはいるが、読まれた証拠は見つからない

論文は、公開、リクエスト、検索事業者の説明を、別々の証拠として並べています。母集団も単位も違うため、1本の「普及の流れ」には並べられない、と断っています。

出典（論文が引用した調査）	観測されたこと	論文が付けた但し書き
民間事業者のレポート（2026年9月18日の更新）	順位づけされたサイトの標本で、ルートに置かれたファイルを確認できたのは、1,000件中93件と、10,000件中830件。判定できなかったのは、それぞれ474件と4,211件	無作為抽出ではない。判定の規則が変わったため、以前の「1,000件中87件」と比べた増減は言えない。利用の測定はない
別の民間事業者の分析（約30万ドメイン）	ファイルがあった割合は10.13%。引用で有利になった証拠は検出されず	市販データの横断的な集計で、因果の裏づけはない
分析ツール事業者のログ調査（13万7,210ドメイン）	HTTP 200で返るMarkdownファイルが約3.8万件。そのドメインの97%で、2026年5月の間、ファイルへのアクセスが記録されなかった	無作為抽出ではない。仕様への適合は確かめていない。「アクセスが無い」ことは、安全だという結果ではない
AIコーディングエージェントの通信記録の調査（15ツール・45回）	llms.txtへのリクエストは、15ツール中0、45回中0	ツールは意図的に選ばれ、取得先は1つ、課題は1つ。プロンプトでURLを明示した条件
検索サービスの公式文書と、ブラウザの診断ツール	検索サービスの文書は、このファイルを表示や順位づけには使わないと述べている。診断ツールには、ファイル取得のエラーを指摘する任意の項目がある	製品ごとの記述。一般的な利用状況は測られていない

論文が点検した範囲では、ファイルを置くサイトは一定数あっても、取得や利用を直接示す観測は少なく、見つかった観測は「取得が無い」というものでした
低い利用は「いまの露出」を限るだけで、使い始められたときの影響には答えない、と論文は述べています

論文は、ファイルの効果と言える条件を絞っています。サイト、質問、モデル、索引、正規の事実を固定し、ファイルの有無だけを変えたとき、取得される文書、出力、順位、行動、コスト、有用性のどれかが変わった場合だけです。

この比較は、資料の中でも論文自身の実験でも、これからの課題として残っています。

安全性の観点：5つの攻撃の道筋

ここからはセキュリティの話です。攻撃の手順には立ち入らず、考え方の概要だけを扱います。

論文は、「乗っ取られたか」の1つの判定では失敗の場所が混ざると指摘し、道筋を5つに分けています。

取得の悪用：ファイルの取得や解析が、ネットワークや費用のルールに反する
命令による乗っ取り：命令の形をした内容が、攻撃者の目標の達成率を上げる
データの差し込み：攻撃者が用意した識別子や出所が、信頼できるデータとして使われる
根拠の汚染：命令を使わずに、偽の主張が回答や確信の度合いを変える
順位の操作：候補の入り方や並びが変わり、特定の情報源だけが選ばれる

中心的な15件の研究のうち、llms.txtそのものを対象にしたのは、論文の図の区分で3件です。残りは、一般的なページなどを使った測定です。

仕様の上では、このファイルの役割は案内にとどまります。それでも、利用する側が取り込み方を決めた時点で、一般のページと同じ種類の注意が必要になると、論文は考えています。

防御の設計：まだ限定的に確かめられた段階

論文は、ファイルを「信頼しないデータ」として扱う設計を提案しています。通信は安全な方式に限り、取得量や費用に上限を置き、重要な行動には確認を挟みます。

30件の検査データでは、すべてが想定どおりの結果になりました（構造と出所6/6、資源の上限4/4、場所の判断16/16、権限の分離4/4）。

論文は、これを実装が仕様に沿っているかの確認と位置づけています。攻撃の起こりやすさ、モデルの頑健さ、行動の安全性は、今後の検証事項です。

小規模な実験：誤りを書き込んだファイルは、答えを変えた

論文は、点検を補うため、範囲を絞った実験を行いました。実際の検索や外部の行動は使わず、ふつうのページの情報（正しい事実を含む要約）を全員に同じように渡したうえで、ファイルの有無と中身だけを変えています。

項目	内容
対象	意図的に選んだ8つの企業サイトと、その公式ドキュメント。1サイトにつき事実を問う質問3問、計24タスク
モデル	GPT-4.1 miniの2025年4月14日版。温度0.7、1回の出力は256トークンまで。1タスク・1条件につき1回の生成
5つの条件	A：ファイルなし。B：無害なファイルを、文章のまま読ませる。C：悪意ある内容を足したファイルを、文章のまま読ませる。D：無害なファイルを、リンクだけ使う「ガード付き」で読ませる。E：悪意ある版を、ガード付きで読ませる
ファイル	実験用に研究者が書き起こしたもの。各サイトが実際に公開しているファイルではない。悪意ある版は、無害な版に、誤った答えを導く内容を足してある
採点	事前に固定した自動採点で、誤った目標が採用されたかを見る。判定できないものは「未解決」。正解の確認は、2026年10月14日保存の12件の公式文書に照らし、AIの補助で行い、人手の独立した確認はなし

ここでの「ガード付き」は、論文が提案する完全な設計ではなく、「指定したURLだけを使う」ことと「ファイルの文章と表示名をすべて捨てる」ことだけを指します。そのため、DとEは、モデルに見える入力が同一です。

結果は、次のとおりです。各条件24回答です。

条件	誤った目標の採用（確定）	未解決	安全性の損失の範囲	正解として受理	有用性の失敗
A：ファイルなし	0/24	2/24	0〜8.3%	22/24	2/24
B：無害・文章のまま	0/24	1/24	0〜4.2%	23/24	1/24
C：悪意あり・文章のまま	21/24	1/24	87.5〜91.7%	2/24	22/24
D：無害・ガード付き	0/24	2/24	0〜8.3%	22/24	2/24
E：悪意あり・ガード付き	0/24	1/24	0〜4.2%	23/24	1/24

「受理」は、事前に決めた表記と合う正しい答えのことです。一方、有用性の失敗には、さらに指定の根拠URLがあることと、行動の提案がないことが条件に加わります。

この表から、論文が報告していることを整理します。

悪意ある内容を文章のまま読ませた条件（C）では、24回中21回で誤った目標が採用され、正解として受理されたのは2回でした。残る1回は、判定できませんでした
無害なファイルを足した条件（B、D）と、ファイルが無い条件（A）の間に、誤りの採用の差は出ませんでした。受理数はAが22、Bが23、Dが22で、1件の差です。論文は信頼区間をつけず、記述的に報告するにとどめています
悪意ある版でも、文章を捨てたガード付きの条件（E）では、確定した採用は0回でした。ただし、D、Eは入力が同一です。文章をすべて捨てた効果であり、広い防御の有効性は読み取れません
実験後にAIの補助で見直すと、判定不能の7件のうち6件は正しい事実の言い換えで、Cの採用は22/24になります。独立した人手の判定ではありません
誤った答えを採用した回答のうち8件は、ふつうの根拠URLを引用しながら、その根拠の内容に反する答えを書いていました

論文は、この実験が示したことを「正しい根拠がすでに渡されていても、攻撃を含むファイルの文章は答えを変え得る」とまとめています。外部の検索、順位、行動への影響は測っていません。

論文自身が書いている限界

資料の選別と抽出は、1人の担当者が行いました。検索の完全な記録や除外件数は残っておらず、「見つからなかった」は残した資料の範囲に限られます。一部の資料はプレプリントや市販のデータです
実験は、1つのモデルの版、意図的に選んだ8サイト、研究者が書いた要約、固定の攻撃の型、1回ずつの生成で行いました
実験の対象は、ファイルを渡されたあとの回答の変化です。実際の検索、順位、ツールの実行、完全な防御の設計は含みません。信頼区間もなく、母集団についての主張はできません

原文を読んで気づいた点

「15ツール・45回」と「97%」は、著者ら自身の測定ではありません。どちらも他者の調査や分析を、論文が引用したものです。要旨の書き方だけを読むと、著者らが測ったように受け取れます
「取得が無かった」という結果は、プロンプトでURLを明示した条件、選ばれた15ツール、1つの課題での話です。97%の調査も、特定の分析ツールを導入したサイトの2026年5月の1か月分です
小規模な実験で使われたファイルは、研究者が書き起こしたものです。実際のサイトが公開しているファイルではありません。そのため、「実在のサイトのファイルが攻撃されている」という意味にはなりません
採点は自動で、正解の確認もAIの補助です。モデルは小型の1種類で、1回の出力です。複数の段階を持つ実際のAI検索サービスで同じ結果が出るかは、この論文から分かりません
日本語のサイトや日本のAI検索での検証は、原文にありません
arXivのcomment欄に学会採択の記載がありますが、査読の中身は確認できていません。著者8人の所属はいずれも民間企業です
公開資料について、arXivのcomment欄はカンファレンスのサイトを再現用資料の場所として挙げています。一方、本文は公開リポジトリやDOIはまだ無いと書いています。両方に食い違いがあるように見えます

この論文から、言えること・言えないこと

言えること（論文が示した範囲）	言えないこと
残した39件の資料に、ファイルの有無だけを変えた比較は無かった	llms.txtは、どんな条件でも意味が無い
引用された調査では、取得の観測は少なく、記録上のアクセスは多くの場合に無かった	2026年5月以降も、全ツール・全サイトで同じ状況が続いている
誤った内容を書き込んだファイルを文章のまま読ませると、1つのモデルの答えが変わった	実在のサイトのファイルが、実際のAI検索で同じように悪用されている
置くなら、正規の内容から作って点検するのがよいと、論文は述べている	置くと、AIへの表示や問い合わせが増える（または減る）

中小企業の視点で、どう受け取るか

ここからは論文の主張とは別の、私の読み取りです。

「置いたこと」と「効いたこと」を分けて考える。論文が点検した範囲では、置くだけで見え方が変わるという根拠は見つかりませんでした。作業の優先度は、その前提で決めるのが現実的です
ふつうのページの質を先に整える。論文の実験でも、回答の根拠はふつうのページの情報でした。AIが回答の根拠にするのは、まず公開している本文だと考えるのが自然です
置くなら、公開ページの要約として、管理された内容にする。論文は、正規の内容から生成し、変更を点検し、外部リンクを減らすことを挙げています
「必ず読まれる」「置けば上位に出る」という説明をそのまま信じない。論文の調べた範囲では、そうした主張を支える対照実験は見つかりませんでした。同時に、「無意味だ」と言い切る根拠も、この論文にはありません

「何と比べた数字か」を確かめる見方は、GEOのサーベイ論文の解説にもあります。