【LLMO論文解説】AIクローラへの条件と対価を書くterms.txtの提案を読む｜追加の処理時間は0.20〜0.65ミリ秒、ただし試験環境での測定（プレプリント・投稿中）

AIの検索や回答の裏側では、AIの事業者が自動巡回の仕組み（クローラ）でWebページを大量に読んでいます。かつての検索エンジンは、読んだ見返りに訪問者を送り返してくれました。

では、その見返りがほとんど返ってこない今、サイトの側はどんな「条件」を機械に伝え、どう対価を受け取れるのでしょうか。

2026年9月にarXivへ公開された論文「terms.txt: A Consent and Compensation Protocol for Agentic Web Access」は、この問いに対して、「terms.txt」という新しい設定ファイルと、署名つきの取引の流れを提案しました。ただし、測られたのは試作品の処理時間までで、サイトが対価を受け取れることまでは確かめられていません。

合同会社謙虚は、3つのドメインを並行して運用し、何を変えると数字が動くかを測り続けています。AIに読まれる側の「入口の条件」は、記事の中身とは別の変数なので、その考え方を知っておく価値があると考えて、この論文を読みました。

結論：3行で言うと

• 論文は、robots.txtが苦手とする「誰が・何の目的で・いくらで読むか」を書けるファイル（terms.txt）と、それを入口で確かめる仕組みを提案しています
• 提案する仕組みの追加の処理時間は、1回のアクセスあたり0.20〜0.65ミリ秒でした。ただし、通信の暗号化なしで、1つの仮想CPUを共有し、同じ機械の中で通信する環境（ループバック）で測った値です
• これは提案の段階です。標準化の途中にあり、この論文に採用事例の報告はありません。「設置すれば対価がもらえる」と読める結果も、論文にはありません

この論文の基本情報

論文はこちらで読めます。arXiv（2609.11152）。

コードと生データはZenodoの公開ページにあります。

著者は、この研究が個人の立場で行われたもので、勤務先の見解を表すものではないと書いています。

この論文が答えた問い

AIのクローラやエージェントが、訪問を返さないまま大量にページを読んでいます。この現状で、サイトの側が「条件」と「対価」を機械に伝え、確かめる仕組みを、どう作れるか。

論文はまず、公開されている測定を集めて、「読ませる代わりに訪問を返す」という暗黙の取り決めが崩れていると述べます。そのうえで、現在の共通の入口であるrobots.txtでは足りないと指摘し、新しい仕組みを仕様として示しています。

論文自身が、貢献の中心は測定ではなく仕組みの提案だと位置づけています。

どうやって調べたのか

この論文は、仕組みの設計と、試作品の処理時間の測定からできています。作業は大きく3つです。

ここでいう「署名」は、アクセスしてきた自動プログラムが、どの事業者のものかを暗号で示す仕組みです。論文はWeb Bot Authという仕様（IETFの作業グループが2026年9月に標準化の文書として採用）を土台にしています。

「402」は、有料のページに対して「支払いが必要です。値段はこれです」と返すための、HTTPの応答番号です。

結果

背景として集められた現状の数字

次の数字は、いずれも論文が他者の測定を引いたものです。記事の理解に必要なものだけを、原文の記述に沿って載せています。

論文はこれらから、「クロールは続いているのに、クリックは戻りにくい」と述べています。

robots.txtとの違い（論文の整理）

論文は、robots.txtを、「許可か禁止か」を名前と場所の単位で伝える仕組みだと説明します。学習用か検索用かの区別も、価格も、本人確認も扱えず、サーバー側で守らせる力もないという整理です。

論文の比較表（表1）を、主な項目だけ日本語にすると次のとおりです。

この表の最後の行は、提案者自身が自分の案を評価した欄です。評価は著者の自己採点にとどまります。

terms.txtの中身と、確認の流れ

terms.txtは、サイトの決まった場所（/.well-known/terms.txt）に置く文字ファイルです。パス（ページの場所）ごとに、目的を「検索」「エージェント」「AI学習」「保存」「研究」に分け、それぞれ「許可」「課金」「拒否」を書きます。

論文の例では、記事のページで検索は許可、AI学習は0.002ドル/リクエストで課金、会員向けページでは学習を拒否、といった書き方が示されています。この金額は書式を示す例にとどまり、推奨の価格とは別物です。

ファイルそのものの役割は、条件の掲示です。強制を担うのは、確認を組み合わせたサーバー側の仕組みです。

サーバーは、署名・期限・使い回しの有無・支払いの証明を確かめ、条件に合うときだけ内容と「受領記録（レシート）」を返します。

追加の処理時間（表2）

表は、5回の測定の中央値です（範囲は原文の表2にあります）。論文が示す「0.20〜0.65ミリ秒」は、署名の確認を伴う場面の追加時間にあたります。

• 追加の時間のうち最も大きいのは、本人確認（署名の検証）です。目的の確認、条件の判定、記録を足しても、確認のみより約0.14ミリ秒の増加（0.339-0.201からの概算）にとどまりました
• 拒否は、提供より軽い処理でした。論文によると、402の返答が0.37ミリ秒、偽の署名の拒否が0.21ミリ秒で、有料の提供（0.65ミリ秒）より小さい値です
• 1秒あたりの処理数は、そのまま返す場合の約15,900から、1,400〜3,000へ下がりました。論文は、1つの計算コアで暗号処理を1本の流れで行ったことが理由だと説明しています

論文自身が書いている限界

• 測定値は、実通信の遅延とは別物です。論文は、これらは同じ機械の中での追加の費用だと述べています。インターネットの遅延ではなく、実際の通信での導入はまだ検討されていないとも書いています
• 署名のない大量取得は、この仕組みの対象外です。クライアント（アクセスする側のプログラム）に署名を強制できないためです。有料コンテンツや受領記録を受け取れるのは、署名つきのアクセスだけという位置づけです
• 取得後の使い道は、契約の領域です。コンテンツが手元を離れたあとの扱い（学習に使うかなど）は、契約に委ねられると明記されています
• 目的の申告が本当かどうかは、事後の確認になります。偽りがあった場合は、監査と資格の取り消しで扱うという考え方です
• 仕様はまだ未完成です。terms.txtの文法と置き場所、利用者に代わる権限の委任の形式、決済側が使える記録の形式は、標準化が必要だと書かれています
• 測定の出どころに偏りがあります。背景の数字を出している事業者は、対策も販売していると、論文が注記しています。論文は、中立的な公開データセットがあれば次の議論はより堅くなると述べています
• 論文の主張は検証可能な形で書かれています。署名つきの意図の申告が複数目的のクロールを減らさないなら、目的の申告は有効な手段ではない、と論文自身が反証の条件を書いています。この検証は、論文の時点では未実施です

原文を読んで気づいた点

• 採用の実績は、論文の範囲外です。測られたのは試作品の処理時間で、サイト、AI事業者、決済側が実際に使った結果は含まれません。「対価が得られる」ことを示す測定も、含まれていません
• 評価は自動の試験と測定です。24項目の検査を毎回通して処理時間を測っており、人による評価はありません。著者が自分の試作品を、自分で測っています
• 査読は未了です。arXivのコメント欄と書式から、特集号への投稿中のプレプリントであることが分かります。採択の可否を示す情報は、私が確認した範囲で見つかりませんでした
• 日本の事情は、検討の対象外です。法的な根拠として挙げられているのはEUのAI規則で、日本の著作権法や商慣行、日本語サイトでの検証は、原文に見当たりませんでした
• 追加時間の範囲にも条件があります。署名を作る側の処理は測定に含まれず、鍵の一覧を最初に取りに行く時間（約35ミリ秒）は別扱いです。署名なしの許可ページは0.015ミリ秒、拒否の場面は0.21〜0.37ミリ秒で、「0.20〜0.65」は全場面を覆う範囲とは言えません
• 原文の中に、小さな数値の揺れがあります。試作品の規模は、本文の一か所で約600行とされています。別の箇所では、4つの機能（署名の確認・目的の宣言・条件の評価・受領記録）を約550行で実装したと書いています。対象範囲が違う可能性がありますが、原文に説明は見当たりませんでした

この論文から、言えること・言えないこと

中小企業の視点で、どう受け取るか

ここからは、論文の主張とは別の、私の読み取りです。

1. 今すぐ設置する段階にはありません。論文自身が、文法も置き場所も標準化されていないと書いています。いま入れても、AI事業者が読む保証は得られません。現時点で手を付けられるのは、robots.txtの書き方を見直すことのほうです
2. 「条件を分けて書く」という考え方は、今のrobots.txtにも使えます。論文が指摘するのは、学習用の巡回を止めたつもりが、検索からの発見も止めてしまう問題です。何を許可し、何を止めるかを、目的ごとに決めておくと、将来の仕様が出たときに移しやすくなります
3. 「読まれても訪問が来ない」という前提は、数字で確かめます。論文の数字は、大手のネットワーク事業者の集計が中心です。自社サイトのアクセスログで、AIのクローラが何回来て、AI経由の訪問が何回あったかを数えると、自社の比率が分かります
4. 対価の話は、論文の外で見守る段階です。論文は、課金の単位が1回の取得から、回答に使われた回数へ動いていると、他の事業者の動きを紹介しています。仕組みが固まっていない分野なので、断定する記事や広告に注意してください

よくある質問

terms.txtは、robots.txtやllms.txtの代わりに設置すればよいのですか

代わりとは言えません。論文は、terms.txtを標準化された規格としてではなく、仕様の提案として示しています。

論文の整理では、robots.txtとllms.txtは「宣言だけで強制する力がない」ファイルです。terms.txtは、そこに署名の確認を組み合わせることで、強制と記録を足す案です。

現状では、既存のrobots.txtの管理を続けるのが基本になります。

terms.txtを置くと、AIの事業者から対価がもらえるのですか

論文に、その結果は含まれていません。論文が示すのは、支払いを求める応答（402）と、受領記録を返す設計までです。

論文は、採用した側にはまず「記録の残るアクセス」という利点があり、それは支払いに合意する事業者が現れる前でも得られる、と述べています。支払いの合意や、金額の相場は、論文の範囲外です。

terms.txtの追加の処理時間0.20〜0.65ミリ秒は、実際のサイトでも同じですか

同じ値になるかは未確認です。この値は、1つの仮想CPUを共有し、同じ機械の中で通信する環境で、通信の暗号化なしに測った値です。

論文自身が、実際のトラフィックでの検証は今後の課題だと書いています。自社のサイトで使うなら、環境に合わせた測定が別に必要です。

まとめ：今日できる1つのこと

自社サイトのアクセスログで、AIのクローラ（GPTBotなど、名乗りのあるもの）の1か月の訪問回数を数えてみてください。AI経由の訪問の回数と並べると、「読まれる回数」と「返ってくる回数」の差が、自社の数字で見えます。

この論文は、LLMO論文の一覧の一本です。ほかの論文の解説も、順次公開しています。

ページを増やしても問い合わせが来ないなら、原因はページの外にあります。その場合は、下の入口からご相談ください。