Lost in the Middle論文をやさしく解説｜AIは長い入力の「真ん中」を見落とすのか

「AIは長い文章の真ん中を読み飛ばすらしい。だから大事なことはページの最初と最後に書け」。

AI検索対策（LLMO）の話題で、こうした説明を見かけたことはないでしょうか。

その根拠としてよく挙げられるのが、論文「Lost in the Middle: How Language Models Use Long Contexts」です。著者はNelson F. Liuさんたちで、arXivの番号は2307.03172です。

この論文は、大規模言語モデル（LLM：大量の文章で学習した文章生成AI）の研究で、よく引用されます。

一方で、「何を確かめた実験なのか」が省かれたまま、結論だけが一人歩きしやすい論文でもあります。

この記事は、Web担当者やマーケターの方に向けて、論文の目的、実験、結果、限界を、専門知識なしで読めるように説明します。

最後に、ページや文章の作り方への示唆を、言いすぎない範囲でまとめました。

数値は、2026年10月17日に、論文のarXiv版（第3版）、著者の公式リポジトリ、論文の掲載ページを開いて確かめたものだけを載せています。

先に結論：この論文で確かめられた6つのこと

結論を表にまとめます。右の列は、論文で確かめられたことです。

論点	確かめられたこと	この記事の判断
何を調べたか	長い入力を受け取れるAIが、入力の中身を使えているか	ページの書き方を直接調べた研究ではない
結果の形	手がかりが入力の最初か最後にあると成績が高く、中ほどで下がるU字型の傾向が出た	「中ほどが弱い」傾向は確かに報告された
影響の大きさ	GPT-3.5-Turboでは、20文書のとき、正解文書が先頭なら75.8%、中ほどなら約54%	条件によっては大きく下がる
逆転	中ほどの約54%は、文書を渡さないときの56.1%を下回った	渡し方次第で、渡さないより悪くなる場合がある
対象	2023年当時のモデルと、実験用に作った入力	現在のAI検索にそのまま当てはまるとは言えない
実務への示唆	論文は、ページの書き方を勧めていない	人にとって読みやすい書き方を続ける後押し程度に受け止める

この記事で使った情報源

使った情報源は、次の表のとおりです。

情報源	確かめた内容
arXiv（2307.03172、第3版）	実験の設定、結果、付録の表
ACL Anthology（TACL掲載版）	掲載誌、巻、ページ、著者
著者の公式リポジトリ（GitHub）	指示文、採点の関数、再現の目安値、ライセンス
Hsiehさんたちの論文（arXiv、ACL Anthology）	後続研究1：注意の偏りの補正
Anさんたちの論文（arXiv、NeurIPS）	後続研究2：追加の学習方法
Cuconasuさんたちの論文（arXiv、ACL Anthology）	反対方向の報告

論文は英語です。この記事では、日本語に直して説明しています。

論文の基本情報

まず、どんな論文なのかを表で確認します。

項目	内容
タイトル	Lost in the Middle: How Language Models Use Long Contexts
著者	Nelson F. Liu、Kevin Lin、John Hewitt、Ashwin Paranjape、Michele Bevilacqua、Fabio Petroni、Percy Liang
公開	arXiv：2023年7月6日（第1版）、2023年11月20日（第3版）
掲載	Transactions of the Association for Computational Linguistics（TACL）12巻、157〜173ページ（2024年）
公式リポジトリ	GitHubのnelson-liu/lost-in-the-middle（実験データ、指示文、評価コード。MITライセンス）

タイトルの意味

タイトルを直訳すると、「真ん中で迷子になる：言語モデルは長い文脈をどう使うか」です。

ここでいう「文脈（コンテキスト）」とは、AIに一度に渡す入力文の全体を指します。

研究の目的：長く入れられても、使えているとは限らない

論文の問いを、先に押さえます。

入力の長さは伸びていた

2023年ごろ、LLMが一度に受け取れる入力の長さは、急速に伸びていました。

論文で調べたモデルには、長い入力向けの版も含まれます。名前の16Kや100Kは、受け取れる長さの目安です。

「入れられる」と「使える」は別の話

たくさん入れられることと、入れた情報をきちんと使えることは、別の話です。

著者らは、長い入力のうち、どこに大事な情報があるかで、AIの成績が変わるのかを調べました。

検索結果を渡す仕組みとの関係

AIに検索結果を読ませて答えさせる仕組みは、RAG（検索拡張生成）と呼ばれます。

検索で集めた文書を何件も並べて渡すとき、AIが一部しかまともに読めないなら、件数を増やしても答えはよくなりません。

論文の問いは、この仕組みに関係します。

実験の流れ

論文の実験の流れを、図にまとめます。

文書を並べ、正解の位置をずらしながら質問し、位置ごとの正答率を比べます。

実験1：複数文書の質問応答

1つ目の実験は、「検索結果を読んで質問に答える」場面をまねたものです。

何をさせたのか

実験の設定を、順に説明します。

• 質問は、公開の質問応答データ「NaturalQuestions-Open」から選んだ2,655問です。答えが段落の形で注釈されている質問を使っています。
• AIには、質問と一緒に、10件、20件、30件の文書を渡します。文書は、Wikipediaを最大100トークンずつに区切った断片です。
• そのうち1件だけが、答えを含む「正解文書」です。残りは、答えを含まない「紛らわしい文書」です。
• 紛らわしい文書は、検索モデルのContrieverで集めました。質問に関連が深く、答えは含まないものを選んでいます。
• 正解文書を置く位置を、先頭から末尾まで少しずつずらして、成績の変化を見ました。

トークンとは、AIが文章を扱う単位です。英語では、単語の一部から1語ほどにあたります。

20文書の場合、公式リポジトリでは、正解文書を1番目、5番目、10番目、15番目、20番目に置いたデータが公開されています。

AIへの指示文

指示文も、公式リポジトリで公開されています。

内容は、「与えられた検索結果（無関係なものも含まれうる）だけを使って、質問に高品質な答えを書いてください」というものです。

そのあとに、「Document 1」の形で文書が並び、最後に質問が置かれます。

どう採点したのか

AIの出力の中に、正解として登録された答えの文字列が含まれていれば、正解とします。

公式リポジトリの採点の関数では、大文字小文字や句読点などをそろえてから、文字列が含まれるかを確かめています。

答え方の言い回しまでは問わない、比較的ゆるい採点です。

比較のための2つの基準

比較の基準として、次の2つも測られています。

• 文書なし（クローズドブック）：文書を一切渡さず、AIがもともと覚えている知識だけで答える条件
• 正解文書のみ（オラクル）：正解文書1件だけを渡す条件。理想的な検索がうまくいった場合の上限にあたる

2つの基準の値を、モデルごとに表にします。

モデル	文書なし	正解文書のみ
LongChat-13B（16K）	35.0%	83.4%
MPT-30B-Instruct	31.5%	81.9%
GPT-3.5-Turbo	56.1%	88.3%
GPT-3.5-Turbo（16K）	56.0%	88.6%
Claude-1.3	48.3%	76.1%
Claude-1.3（100K）	48.2%	76.4%

この表の値は、論文の表1によるものです。

実験2：キー・値の取り出し

2つ目の実験は、もっと機械的な課題です。

何をさせたのか

AIに、意味のない英数字の列（UUID：ランダムに作られる識別子）を、「キー」と「値」の組にしたデータを大量に渡します。

そして、「このキーに対応する値を答えてください」と指示します。

組の数は、75組、140組、300組の3通りで、それぞれ500例です。

なぜ、こんな課題を使うのか

この課題には、文章の意味を理解する必要がありません。

指定された文字列を探して、隣の文字列を書き写せばよいだけです。

論文は、言語の特徴が結果に混ざる影響を減らすために、ランダムなUUIDを使ったと説明しています。

それでも成績が位置によって変わるなら、入力のどこにあるかだけで、取り出しやすさが変わることになります。

調べたモデル

論文で評価された主なモデルは、次のとおりです。

区分	モデル
公開モデル	MPT-30B-Instruct、LongChat-13B（16K）
非公開（API提供）モデル	GPT-3.5-Turbo、GPT-3.5-Turbo（16K）、Claude-1.3、Claude-1.3（100K）

補足の実験では、GPT-4、Llama-2、Flan-UL2などのモデルも使われています。

長い入力に対応した版も比べた理由

表の「16K」「100K」は、一度に読める入力の長さが、通常の版より長いモデルを指します。

論文は、通常の版と長い版を同じ条件で比べました。入力に余裕のあるモデルなら、位置による差は小さくなるはずだ、という予想を確かめるためです。

結果として、論文は、入力の長さに対応した版が、必ずしも入力を使いこなせるとは限らないと報告しています。

入力の上限が大きいことと、その全体を同じように使えることは、別の話だということです。

いずれも2023年当時のモデルです。現在、ChatGPTやClaudeの画面で使われているモデルとは、世代が異なります。

この点は、後の「限界」の節で詳しく説明します。

結果：成績はU字型になった

ここからは、実験の結果を見ます。

複数文書の質問応答

中心となる結果は、正解文書の位置を横軸、正答率を縦軸にしたグラフが、「U」の字を描いたことです。

先頭にあるときが高く、中ほどで落ち込み、末尾に近づくとまた上がります。

GPT-3.5-Turboの20文書の設定を、表にします。位置ごとの値は、論文の付録の表によるものです。

条件	正答率
正解文書のみ（上限の目安）	88.3%
20文書・正解文書が1番目	75.8%
20文書・正解文書が5番目	57.2%
20文書・正解文書が10番目	約54%
20文書・正解文書が15番目	55.4%
20文書・正解文書が20番目	63.2%
文書なし（覚えている知識だけ）	56.1%

文書を渡さないときより低くなった

注目したいのは、10番目に置いたときの約54%が、文書を何も渡さないときの56.1%を下回ったことです。

答えが書かれた文書を渡しているのに、渡さないより成績が悪くなる場合があったわけです。

論文は、20文書と30文書の設定で、最も悪い位置のときに、こうした逆転が起きたと報告しています。

また、GPT-3.5-Turboの成績は、位置によって20%を超えて下がる場合があるとも書かれています。

長い入力向けの版でも同じだった

長い入力向けの版（GPT-3.5-Turbo（16K）やClaude-1.3（100K））でも、同じ傾向が見られました。

入力の長さが両方のモデルに収まる設定では、通常の版と長い版の成績は、ほぼ重なっていました。

論文は、入力できる長さを伸ばしただけでは、入力の中身をうまく使えるようにはならない、と読み取っています。

モデルによって形は違う

20文書の設定で、4つのモデルの値を並べます。付録の表の値です。

モデル	1番目	5番目	10番目	15番目	20番目
Claude-1.3	59.9%	55.9%	56.8%	57.2%	60.1%
GPT-3.5-Turbo	75.8%	57.2%	約54%	55.4%	63.2%
MPT-30B-Instruct	53.7%	51.8%	52.2%	52.7%	56.3%
LongChat-13B（16K）	68.6%	57.4%	55.3%	52.5%	55.0%

モデルによって、先頭が強い、末尾が強い、差が小さい、と形はさまざまです。

「どのモデルでも同じ形のU字になる」わけではない点は、押さえておきましょう。

公式リポジトリの再現目安

公式リポジトリの手順書には、公開モデルで実験を再現したときの、おおよその値が載っています。

20文書で、正解文書の位置は1、5、10、15、20番目の順です。

モデル	1番目	5番目	10番目	15番目	20番目
LongChat-13B（16K）	68.6%	57.4%	55.3%	52.5%	55.0%
Llama-2-70b-chat	56.8%	53.3%	54.1%	59.7%	69.5%
MPT-30B-Instruct	53.7%	51.8%	52.2%	52.7%	56.2%

手順書には、実験に80GBのメモリを持つA100というGPUを使ったと書かれています。一般のパソコンで気軽に動かせるものではありません。

GPT-4とLlama-2の結果

付録には、GPT-4（8K）の結果もあります。500例を抜き出し、20文書で試したものです。

GPT-4は、他のモデルより成績が高いものの、先頭と末尾で高く、中ほどで下がる形は変わりませんでした。

Llama-2は、7B、13B、70Bの大きさで比べられています。

13Bと70BにはU字型が見られ、7Bは末尾に偏る形でした。論文は、U字型は十分に大きなモデルで現れると読み取っています。

結果：キー・値の取り出し

意味を理解しなくてよいはずの課題でも、位置の影響が出たモデルがありました。

モデルごとの結果

Claude-1.3とClaude-1.3（100K）は、どの長さでも、ほぼ満点でした。

他のモデルは、140組、300組と長くなるほど苦戦しました。

GPT-3.5-Turbo、GPT-3.5-Turbo（16K）、MPT-30B-Instructは、探す組が中ほどにあるときに、成績が最も低くなりました。

この結果から言えること

文字列を探して書き写すだけの単純な作業でも、モデルによっては位置の影響を受けたことになります。

一方で、Claudeのように影響がほとんど出ないモデルもありました。位置の影響の大きさは、モデルと課題で変わります。

原因の手がかり

論文は、なぜ位置で成績が変わるのかについて、予備的な調査を3つ行っています。

3つの調査の結果

調べたこと	結果
モデルの構造	入力の前後を同時に処理できる型のモデル（Flan-UL2）は、訓練時の長さの範囲内なら位置の影響が小さかった。範囲を超えるとU字型になった
質問の置き場所	質問を文書の前後の両方に置くと、キー・値の課題はほぼ満点になった。複数文書の質問応答では、ほとんど変わらなかった
指示に合わせた追加の訓練	追加の訓練の前後のモデルで、どちらもU字型が出た。追加の訓練は、成績の差を少し縮めた

論文自身の位置づけ

これらは、予備的な調査であり、原因の特定ではありません。

論文は、構造の違いについて、「仮説を立てた」という書き方をしています。原因がまだ決まっていないことは、押さえておきたい点です。

補足の確認：結果が実験の作りのせいではないか

論文は、結果が実験の作り方の影響ではないかを確かめるため、追加の実験も行っています。

追加の実験で分かったこと

追加の実験	結果
紛らわしい文書の並び順をランダムにして、指示文でもそう伝える	同じU字型の傾向が出た。先頭の成績は少し下がり、中ほどと末尾は少し上がった
紛らわしい文書を、関連の薄いランダムなWikipedia文書に替える	全体の成績は上がったが、入力全体を使いきれない傾向は残った
答えが曖昧な質問を除いた部分集合で試す	全体と似た結果と結論になった

並び順の思い込みを除いた実験

検索結果は、関連の高い順に並ぶものだ、という思い込みがAIにあるかもしれません。

その場合、先頭の文書を信じやすいのは、当然の結果です。

論文は、この可能性を確かめるために、並び順をランダムにして、指示文でも「ランダムに並んでいる」と伝えました。

それでも、U字型は残りました。

ランダムな文書を混ぜた実験

紛らわしい文書を、無関係なランダムな文書に替えると、答えの文書を見つけやすくなります。

実際、全体の成績は上がりました。

それでも、入力全体をうまく使えない傾向は残ったため、論文は、成績の低下は「関連する文書を見分けられないこと」だけが原因ではない、と読み取っています。

検索して読む流れ全体での確認

論文は、実際に近い流れでも確かめています。

文書を増やしても、成績はあまり上がらなかった

検索モデルで文書を集め、AIが読んで答える流れで、集める文書の件数を変えました。

20件から50件に増やしても、正答率の改善は、GPT-3.5-Turboで約1.5%、Claude-1.3で約1%にとどまりました。

件数を増やせば、答えを含む文書が入る確率は上がります。それでも、読む側のAIが、増えた文書を使いきれていない、というのが著者らの解釈です。

論文が挙げた改善の方向

論文は、この結果から、2つの方向を挙げています。

• 検索で集めた文書を並べ替えて、関連の高いものを入力の先頭に近づける
• 必要に応じて、集める文書の件数を減らす

どちらも「有望かもしれない方向」として挙げられたもので、効果を確かめた結果ではありません。

その後の研究：改善の報告と、反対方向の報告

この論文のあと、「真ん中で迷子になる」問題を和らげる研究や、影響を見直す研究が出ています。

3本を、各論文の要旨で確かめられた範囲で紹介します。

研究	発表先	内容（要旨の範囲）
Hsiehさんたち「Found in the Middle」	Findings of ACL 2024	AIの内部にある「先頭と末尾に注意が向きやすい偏り」を補正する方法を提案。RAGの課題で、既存の手法を最大15ポイント上回ったと報告
Anさんたち「Make Your LLM Fully Utilize the Context」	NeurIPS 2024	長い入力のあちこちに手がかりを置いた練習問題で追加学習する方法（IN2学習）を提案し、Mistral-7BからFILM-7Bというモデルを作成
Cuconasuさんたち「Do RAG Systems Really Suffer From Positional Bias?」	EMNLP 2025	実際の検索では、紛らわしい文書も上位に入りやすく、位置の偏りの影響は、統制した実験より小さいと報告。位置に合わせた並べ替えは、ランダムに並べた場合より良くならなかった

2つの方向

前の2本は、問題はあるが、作り方次第で和らげられる、という方向です。

3本目は、実際の検索の流れでは、位置だけを気にしても効果は小さい、という方向です。

どちらも、特定の条件での実験結果です。現在のすべてのAIサービスに当てはまるとは言えません。

新しいモデルでの再現は、公式リポジトリにない

2023年以降に登場した新しいモデルで、同じ実験をそのまま繰り返した結果は、公式リポジトリには載っていません。

リポジトリの最終の更新は、2024年1月のコミットでした。

現在のモデルで、この傾向がどの程度残っているかは、この論文からは分かりません。

この論文の限界：読むときに気をつけたい3つの点

ここが、いちばん大切な節です。

1. 2023年当時のモデルでの結果である

調べたのは、GPT-3.5-TurboやClaude-1.3など、2023年当時のモデルです。

その後もモデルは世代交代を続けていて、後続の研究では、改善の方法も報告されています。

数値を、そのまま現在のサービスに当てはめることはできません。

2. AI検索サービスの実際の仕組みとは別の実験である

この実験では、研究者が文書を選び、並べ、正解文書の位置を意図的にずらしました。

一方、ChatGPTやPerplexity、GoogleのAIによる概要などが、どの文書を何件、どの順番でAIに渡しているかは、この論文からは分かりません。

ページを書く側が、自分の文章がAIへの入力の何番目に置かれるかを決めることもできません。

3. 「ページ内の位置」と「AIへの入力内の位置」は別物である

ここが、いちばん誤解されやすい点です。

この論文の「真ん中」は、AIに渡された入力全体（何件もの文書を並べたもの）の真ん中です。あなたのページの、真ん中の段落のことではありません。

AI検索が、ページを丸ごと渡すのか、一部を抜き出して使うのかは、この論文は扱っていません。

そのため、「この論文によれば、ページの中ほどに書いたことは、AIに無視される」と言い切ることはできません。

3つの限界の整理

限界	言えないこと
当時のモデル	現在のAI検索でも同じ数値が出る
実験用の入力	実際のAI検索が同じ渡し方をしている
入力内の位置	ページの真ん中の段落が読まれない

この論文を、自社サイトの文章にどう生かすか

ここからは、論文の結果をもとにした、筆者の判断です。論文が自社サイトの書き方を検証したわけではないので、「仮説」として読んでください。

結論を先に書く

論文で確かめられたのは、AIに渡す入力の中で、先頭と末尾にある情報が使われやすいことでした。

ページを書く側が入力の順番を決めることはできません。それでも、ページの中の順番は決められます。

各ページの冒頭に結論を書いておけば、ページの一部だけが抜き出されたときも、結論が先に拾われる可能性があります。この点は、論文の結果から導いた仮説です。

見出しごとに、意味が完結するように書く

AI検索がページの一部を抜き出して使う場合、抜き出された部分だけで意味が通るかどうかが大切になります。

「前述のとおり」「上の表の」といった言い方は、抜き出されると指す先が消えます。

各見出しの下では、主語と結論を省かずに書きます。

大事な事実を、段落の途中に埋めない

料金の条件、対応範囲、営業時間のような大事な事実は、長い段落の途中に置かず、見出しの直下の1文目か、表の中に置きます。

人が読むときにも、探しやすくなります。

冒頭の要約と、末尾のまとめを置く

論文の結果は、先頭と末尾が使われやすい、というものでした。そこで、長い記事には、冒頭の要約と、末尾のまとめを置いておきます。

この2つは、読者にとっても役に立つ部分です。AIへの工夫として足すことはせず、読者のための構成として整えます。

3つの示唆の位置づけ

示唆	論文が確かめたこと	筆者の判断
結論を先に書く	入力の先頭の情報は使われやすい	仮説。ページ内の順番の効果は、この論文では確かめていない
見出しごとに完結させる	扱っていない	抜き出されても意味が通るようにする、という文章の基本
要約とまとめを置く	先頭と末尾の情報は使われやすい	読者のための構成として妥当。AIへの効果は未確認

やらないほうがよいこと

この論文を読んで、やりたくなる対応のうち、避けたほうがよいものを挙げます。

やりたくなる対応	避けたい理由
同じ内容を、ページの先頭と末尾に何度も書く	論文は、この対応の効果を調べていない。読者にとっては、読みにくい繰り返しになる
記事を極端に短くする	論文は、短い入力のほうが成績が高い傾向を報告したが、内容が足りない記事になれば、読者の役に立たない
重要なことを、すべて冒頭の数行に詰め込む	冒頭だけ整えて、本文の説明を薄くすると、読者は疑問を解消できない
「真ん中に書くと無視される」と社内で共有する	論文の「真ん中」は、ページ内の位置ではない。誤った理解が広がる

論文の結果は、AIの仕組みの一端を示すものです。文章の書き方を大きく変える根拠にまでは、なりません。

記事を短くする必要はない

入力が短いほど成績が高かった、という結果は、AIに渡す文書の件数や長さに関するものです。

1本の記事を短く書くことを勧める結果ではありません。必要な説明を省けば、読者もAIも、必要な情報を得られなくなります。

確認のためのチェックリスト

この論文を引用したり、解説に使ったりするときの確認項目です。

• [ ] 調べたのは2023年当時のモデルだと書いたか
• [ ] 「入力内の位置」と「ページ内の位置」を区別して書いたか
• [ ] 論文が確かめたことと、筆者の仮説を分けて書いたか
• [ ] 「AI検索がそう動いている」と言い切っていないか
• [ ] 数値に、モデル名と条件を添えたか
• [ ] その後の研究（改善の報告と、反対方向の報告）にも触れたか

よくある質問

Q1. ページの真ん中に書いたことは、AIに読まれないのですか？

この論文からは、そうは言えません。

論文の「真ん中」は、AIに渡された何件もの文書の並びの真ん中です。ページ内の位置を調べた研究ではありません。

AI検索がページをどう扱うかも、この論文では扱われていません。

Q2. 今のChatGPTやGeminiでも、同じ現象が起きますか？

この論文からは分かりません。

調べたのは2023年当時のモデルです。その後、長い入力を使いこなすための研究が進み、新しいモデルでの傾向は、モデルごとに確かめる必要があります。

公式リポジトリにも、新しいモデルでの再実験は載っていません。

Q3. 検索結果の上位に出れば、AIに使われやすくなりますか？

論文は、集めた文書の並び順を、関連の高いものが先頭に来るよう整える方向を挙げています。

ただし、実際のAI検索が、どんな順で文書を渡しているかは、公開されていません。

検索結果の順位とAIへの入力順位が一致するかどうかも、この論文からは分かりません。

Q4. この論文は、どこで読めますか？

論文は、arXivで読めます。

2024年には、学術誌 Transactions of the Association for Computational Linguistics（TACL）にも掲載されました。

論文の題は「Lost in the Middle: How Language Models Use Long Contexts」です。

arXivには複数の版があるため、引用するときは、掲載誌の版を確認してください。

Q5. 論文の実験を、自分で試すことはできますか？

著者らは、実験のデータとコードを、GitHubで公開しています。

動かすには、各社のAPIの利用や、開発環境の用意が必要です。研究者や開発者が使う資料で、ウェブ担当者の業務で確かめるものではありません。

まとめ

要点を整理します。

• 論文が示したのは、AIに複数の文書を渡したとき、正解の位置が先頭か末尾だと成績が高く、真ん中だと低いという傾向です
• 調べたのは2023年当時のモデルで、現在のAI検索に同じ数値が当てはまるとは言えません
• 「真ん中」は、入力全体の並びの真ん中です。ページの中ほどの段落ではありません
• その後の研究には、改善を報告したものと、実際の検索では影響が小さいと報告したものの両方があります
• 自社サイトで取れる対応は、結論を先に書く、見出しごとに完結させる、冒頭に要約と末尾にまとめを置く、という文章の基本です

論文の数字だけで判断せず、自社のページがどう読まれているかを確かめるところから、始めてみてください。

ページを増やしても問い合わせが来ないなら、原因はページの外にあります。その場合は、下の入口からご相談ください。