컨텍스트 엔지니어링 실패모드 위키

[논문] Lost in the Middle — Liu et al., TACL 2024

20 min read

상위: 02_00_MOC

[논문] Lost in the Middle: How Language Models Use Long Contexts

한줄요지: LLM은 긴 컨텍스트에서 관련 정보가 어디에 놓이느냐에 따라 성능이 크게 달라진다. 중간에 놓인 정보는 처음이나 끝에 둘 때보다 정확도가 최대 22퍼센트포인트 이상 떨어지는 U자형 곡선을 그린다.

1. 논문 기본 정보

항목내용
제목Lost in the Middle: How Language Models Use Long Contexts
저자Nelson F. Liu, Kevin Lin, John Hewitt, Ashwin Paranjape, Michele Bevilacqua, Fabio Petroni, Percy Liang
소속Stanford University (Liu, Lin, Hewitt, Paranjape, Liang) · Meta AI (Bevilacqua, Petroni)
게재지Transactions of the Association for Computational Linguistics (TACL)
연도TACL 2024 (arXiv 최초 공개 2023-07)
arXiv2307.03172
주제 분류장문 컨텍스트 활용 · 위치 편향 · 정보 검색

2. 문제의식 (Research Motivation)

컨텍스트 윈도가 수만에서 수십만 토큰까지 늘어나면서 “정보를 더 많이 넣으면 더 좋은 답이 나온다”는 기대가 자연스럽게 따라왔다. 이 논문은 여기에 근본적인 질문을 던진다. 과연 LLM은 긴 컨텍스트를 실제로 얼마나 잘 활용하는가?

연구진은 모델이 컨텍스트 안의 관련 정보를 항상 똑같이 다루지는 않으리라는 가설을 세우고, 정보의 위치(position)만 체계적으로 바꾸는 통제 실험을 설계했다. 당시 “explicitly long-context models”로 불리던 Claude-1.3(100K), GPT-3.5-Turbo(16K) 등이 이미 나와 있었지만, 이들이 긴 컨텍스트를 정말로 활용하는지는 따로 확인된 바가 없었다.

이 논문이 컨텍스트 엔지니어링에서 갖는 의의는 분명하다. 02 산만의 핵심 메커니즘인 위치 편향(position bias)을 실험으로 정밀하게 입증했다. “컨텍스트가 길면 성능이 떨어진다”는 막연한 인식을 넘어, 정보를 어디에 두느냐가 결과를 가른다는 설계 원칙을 제시한 것이다.

3. 실험 설계 (Experimental Setup)

3.1 태스크 1: Multi-Document Question Answering (다중 문서 QA)

  • 데이터셋: NaturalQuestions (NQ). 실제 Google 검색 질문과 Wikipedia 문서를 기반으로 한다.
  • 설정: 문서 N개를 컨텍스트에 배치하되, 그중 하나에만 정답이 든 관련 문서(gold document)를 넣는다.
  • 변수 조작: gold document의 위치를 컨텍스트 안에서 체계적으로 바꾼다(index 0번부터 N-1번까지).
  • 문서 수: 5, 10, 20, 30개 설정을 시험한다.
  • 평가지표: 정확 일치(exact match) 정확도

3.2 태스크 2: Key-Value Retrieval (키-값 검색)

  • 설정: JSON 형식의 키-값 쌍 목록에서 특정 키에 맞는 값을 찾는 단순 검색 태스크
  • 목적: 장문 컨텍스트 활용 능력만 따로 떼어내(isolate) 측정
  • 변수 조작: 목표 키-값 쌍의 위치를 컨텍스트 안에서 체계적으로 바꾼다.
  • 키-값 쌍 수: 75, 140쌍 등 크기를 달리해 설정

3.3 테스트 모델

모델유형컨텍스트 윈도
GPT-3.5-Turbo클로즈드4K
GPT-3.5-Turbo-16K클로즈드 (장문)16K
Claude-1.3클로즈드~8K
Claude-1.3 (100K)클로즈드 (장문)100K
LongChat-13B (16K)오픈 (장문)16K
MPT-30B-Instruct오픈~8K

여기서 “explicitly long-context models”인 Claude-1.3(100K), GPT-3.5-Turbo-16K, LongChat-13B(16K)이 포함됐다는 점이 중요하다. 모두 장문 처리를 위해 특별히 설계하거나 파인튜닝한 모델이다.

4. 핵심 발견 및 수치 (Key Results)

4.1 U자형 성능 곡선 — 위치가 정확도를 결정한다

실험 전반에서 일관된 패턴이 나타났다.

성능
 ↑
75% ─ ●                           ●
     │  ↘                       ↗
65% ─    ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─
     │          ↘           ↗
53% ─            ─ ─ ─ ─ ─
     └──────────────────────────→ 위치
     처음(index 0)  중간     끝(index N-1)

GPT-3.5-Turbo, 20개 문서 설정에서의 실제 수치:

gold document 위치정확도
index 0 (맨 처음)75.8%
index 4~68%
index 9 (중간)53.8%
index 14~56%
index 19 (맨 끝)63.2%
  • 최고와 최저의 차이는 약 22퍼센트포인트다(처음 75.8% 대 중간 53.8%).
  • 끝 위치(63.2%)도 중간(53.8%)보다 9~10퍼센트포인트가량 높다.
  • 이 U자형 패턴은 시험한 모든 모델에서 똑같이 나타났다.

4.2 “explicitly long-context models”도 동일한 패턴

“We find that performance is often highest when relevant information occurs at the beginning or end of the input context, and significantly degrades when models must access relevant information in the middle of long contexts, even for explicitly long-context models.” — Liu et al., TACL 2024

Claude-1.3(100K)나 GPT-3.5-Turbo-16K처럼 장문을 겨냥해 설계한 모델도 똑같은 U자형 곡선을 그렸다. 컨텍스트 윈도를 늘리는 것만으로는 위치 편향이 풀리지 않는다는 뜻이다.

4.3 중간 위치 정보 처리 — 더 충격적인 수치

20문서, 30문서 설정에서 특히 두드러진 현상이 있다.

“performance in 20- and 30-document settings is lower than performance without any input documents (i.e., closed-book performance; 56.1%).” — Liu et al., TACL 2024

관련 문서가 중간에 분명히 들어 있는데도, 문서가 아예 없는 폐쇄형(closed-book) 성능보다 낮아지는 구간이 나타났다. 정보를 활용하지 못하는 데서 그치지 않고, 오히려 엉뚱한 방향으로 끌려갈 수 있다는 뜻이다.

4.4 더 많은 문서 = 더 작은 한계이익

“using 50 documents instead of 20 retrieved documents only marginally improves performance (~1.5% for GPT-3.5-Turbo)” — Liu et al., TACL 2024

검색 문서 수를 늘리는 전략, 곧 RAG에서 흔히 쓰는 top-k 확장이 기대만큼 효과적이지 않다는 뜻이다.

4.5 Key-Value Retrieval: 위치 편향의 순수 측정

다중 문서 QA보다 단순한 key-value 검색에서도 같은 위치 편향이 확인됐다. 위치 편향이 문서 내용의 복잡도나 질문의 난이도에서 비롯된 것이 아니라, 모델의 어텐션 메커니즘 자체에 깃든 특성이라는 근거다.

5. 메커니즘 다이어그램

5.1 U자형 곡선의 생성 원인

graph TD
    A[긴 컨텍스트 처리] --> B{관련 정보 위치}
    B --> C[처음 Beginning]
    B --> D[중간 Middle]
    B --> E[끝 End]
    
    C --> F[초두 효과 Primacy Effect<br/>어텐션이 초기 토큰에 강하게 집중]
    D --> G[어텐션 희석 Dilution<br/>중간 정보는 경쟁적 토큰들 사이에 묻힘]
    E --> H[최신 효과 Recency Effect<br/>최근 토큰은 KV 캐시에서 우선순위 높음]
    
    F --> I[높은 정확도 ~75%]
    G --> J[낮은 정확도 ~54%]
    H --> K[중간 정확도 ~63%]
    
    I --> L[U자형 성능 곡선]
    J --> L
    K --> L

5.2 후속 연구와의 관계 맵

graph LR
    A["Lost in the Middle<br/>Liu et al., TACL 2024<br/>위치 편향 실증"] --> B["RULER<br/>Hsieh et al., COLM 2024<br/>실효 컨텍스트 길이 갭"]
    A --> C["NoLiMa<br/>Modarressi et al., ICML 2025<br/>어휘 매칭 없는 장문 추론"]
    A --> D["Context Length Alone Hurts<br/>Du et al., EMNLP 2025<br/>길이 자체의 구조적 부담"]
    A --> E["STRING<br/>An et al., 2024<br/>위치 인코딩 수정으로 개선"]
    
    B --> F[실효 = 광고의 50~65%]
    C --> G[어텐션의 어휘 의존성]
    D --> H[증거 재인용 프롬프트]
    E --> I[추가 훈련 없이 10점 개선]

6. 직접 인용 (Direct Quotes)

“performance is often highest when relevant information occurs at the beginning or end of the input context, and significantly degrades when models must access relevant information in the middle of long contexts, even for explicitly long-context models.” — Liu et al., TACL 2024

“performance in 20- and 30-document settings is lower than performance without any input documents (i.e., closed-book performance; 56.1%).” — Liu et al., TACL 2024

“using 50 documents instead of 20 retrieved documents only marginally improves performance (~1.5% for GPT-3.5-Turbo).” — Liu et al., TACL 2024

7. 논문의 한계 (Limitations)

Liu et al.(TACL 2024)은 강력한 실증적 증거를 내놓았지만, 논문 자체에서도 또 후속 연구를 거치면서도 다음과 같은 한계가 지적됐다.

7.1 논문 내 한계

  1. 원인 분석의 부재: 왜 중간 위치의 정보가 더 어려운지를 두고 메커니즘 분석이 깊이 들어가지 않았다. 어텐션 가중치 시각화나 어텐션 패턴 분석은 담기지 않았다.

  2. 어휘 매칭과의 상호작용 미검토: 관련 문서(gold document)와 질문 사이에 어휘가 얼마나 겹치는지를 통제하지 않았다. NoLiMa(Modarressi et al., 2025)는 이 변수를 없앴을 때 성능이 더 가파르게 떨어진다는 것을 보였다.

  3. 태스크 복잡도: 다중 홉(multi-hop) 추론이나 집계(aggregation)가 필요한 복잡한 태스크에서의 위치 편향은 따로 다루지 않았다. RULER(2024)는 이런 태스크일수록 위치 편향이 더 심해진다는 것을 보였다.

  4. 단일 위치 gold document 가정: 실험은 관련 정보가 컨텍스트 안 한 곳에만 있다고 전제한다. 실제 RAG에서는 부분적으로 관련된 정보가 여러 곳에 흩어지기 마련이다.

7.2 후속 연구가 보완한 한계

한계후속 연구보완 내용
어휘 매칭 통제 부재NoLiMa (2025)어휘 중복 최소화 실험으로 더 심각한 위치 편향 발견
복잡 태스크 미포함RULER (2024)13개 복합 태스크에서 실효 컨텍스트 길이 측정
원인 메커니즘 미분석STRING (2024)위치 인코딩 분포 편향을 원인으로 특정
에이전트 시나리오 미검토LOCA-bench, AgentLongBench (2026)에이전트 특유의 컨텍스트 산만 패턴 실증

8. 후속 연구와의 관계

8.1 NoLiMa와의 연속성 NoLiMa

NoLiMa(Modarressi et al., ICML 2025)는 Lost in the Middle의 핵심 발견을 한 단계 더 밀고 나갔다. Liu et al.의 실험에서는 관련 문서가 질문과 어휘적으로 비슷할 여지가 있었다. NoLiMa는 질문과 관련 정보(needle) 사이의 표면적 어휘 중복을 일부러 최소화해, 표면 매칭에 기대지 않는 잠재 연상 추론(latent associative reasoning)을 측정했다. 그 결과 성능이 더 일찍, 더 크게 무너졌다. 32K 컨텍스트에서 GPT-4o가 99.3%에서 69.7%로 떨어졌다.

8.2 RULER와의 관계

RULER(Hsieh et al., COLM 2024)는 13개 복합 태스크로 Liu et al.의 발견을 넓혀, 광고된 컨텍스트 길이와 실효 컨텍스트 길이 사이의 격차를 체계적으로 측정했다. 바닐라 NIAH에서 99%를 내던 모델도 RULER에서는 60%대로 주저앉았다. Liu et al.이 짚은 위치 편향이 복잡한 태스크일수록 더 심해진다는 것을 확인한 셈이다.

8.3 이 논문이 촉발한 연구 흐름

Lost in the Middle은 다음과 같은 연구 질문들을 열었다.

  • 위치 편향의 원인은 어텐션 아키텍처인가, 훈련 데이터 분포인가? (STRING, 2024)
  • 어휘 매칭 없이는 얼마나 더 심각해지는가? (NoLiMa, 2025)
  • 컨텍스트 길이 자체가 성능에 미치는 독립적 영향은? (Du et al., 2025)
  • 에이전트 시나리오에서는 어떻게 나타나는가? (LOCA-bench, AgentLongBench, 2026)

9. 우리 주제(컨텍스트 산만)에의 시사점

9.1 컨텍스트 산만의 실증적 기반

02 산만에서 다루는 컨텍스트 산만은 Drew Breunig(2025)가 이름 붙였지만, 그 실증적 토대는 Liu et al.(TACL 2024)에서 비롯한다. 모델이 컨텍스트 히스토리에 지나치게 기대는 현상의 구조적 원인 하나가 바로 위치 편향이다. 모델은 최근(끝) 토큰과 초기(처음) 토큰에 과하게 가중치를 두기 때문에, 긴 히스토리 속 중요한 중간 정보를 놓친다.

9.2 실천적 설계 원칙

Lost in the Middle에서 곧바로 끌어낼 수 있는 프롬프트·시스템 설계 원칙은 다음과 같다.

1. 중요 정보는 컨텍스트의 처음 또는 끝에 배치하라

[최적 배치 순서 예시 — RAG 시나리오]
1. 시스템 프롬프트 + 핵심 지시사항      ← 처음 (primacy)
2. 검색된 관련 문서 (gold documents)    ← 처음에 가깝게
3. 잡음 문서 / 관련도 낮은 맥락         ← 중간 (버려도 무방)
4. 사용자 질문 (query)                  ← 끝 (recency)

2. 검색 결과의 top-k를 아무렇게나 정렬하지 말라 관련도 높은 문서를 중간에 두면, 관련도 낮은 문서를 처음이나 끝에 둔 경우보다 오히려 성능이 나빠질 수 있다.

3. 문서를 50개 넣을지 20개 넣을지 문서를 더 많이 넣는 전략(top-50 검색)은 중간 위치 페널티 탓에 도리어 역효과를 낼 수 있다. 질 좋은 소수의 문서를 올바른 위치에 배치하는 편이 낫다.

4. 에이전트 컨텍스트 관리 에이전트 워크플로에서는 히스토리가 쌓일수록 초기(처음)의 핵심 지시와 최근(끝)의 새 정보만 제대로 쓰인다. 중간에 쌓인 히스토리는 점점 흐려져 잊힌다. 컨텍스트 압축·요약 전략이 필요한 이유가 여기에 있다(→ 06_00_MOC 참조).

10. 요약 (Summary)

mindmap
  root((Lost in the Middle))
    문제의식
      긴 컨텍스트 = 잘 활용?
      위치가 성능을 결정한다
    실험설계
      Multi-Doc QA NaturalQuestions
      Key-Value Retrieval
      5~30개 문서, 위치 체계적 변경
      6개 모델 테스트
    핵심발견
      U자형 성능 곡선
      중간 vs 처음 22pp 하락
      closed-book보다 낮아질 수 있음
      장문 모델도 동일 패턴
    한계
      원인 메커니즘 미분석
      어휘 매칭 통제 부재
      단순 태스크 위주
    시사점
      중요 정보 = 처음 또는 끝
      top-k 더 많이가 능사가 아님
      에이전트 히스토리 관리 필요

11. 이 논문이 어느 챕터들과 연결되는가 (정본 안내)

이 노트는 위키 전체에서 Lost in the Middle의 정본(canonical)이다. 각 챕터는 이 논문을 자기 실패모드의 렌즈로 다시 읽는다. 전체 서술은 여기에 모으고, 각 챕터 노트는 고유한 관점만 한두 문단으로 남긴 뒤 이 노트를 참조한다.

챕터노트이 논문을 보는 관점
02 산만02_06-paper-lost-in-the-middle (정본)위치 편향·어텐션 희석이 컨텍스트 산만의 실증적 기반
03 혼란03_04-paper-lost-in-the-middle툴 정의 과적재로 쿼리가 “중간”으로 밀려 혼란 유발
04 충돌04_08-paper-liu-2023-lost-in-middle올바른 수정 정보가 중간에 있으면 충돌 해소 실패 (앵커링 × 중간)
05 부패05_03-메커니즘-왜-발생하는가길이 증가에 따른 위치 편향 누적이 컨텍스트 부패 메커니즘의 일부
graph TD
    L["Lost in the Middle<br/>Liu et al., TACL 2024<br/>(정본: 02_06)"]
    L --> A["02 산만<br/>위치 편향 = 산만의 기반"]
    L --> B["03 혼란<br/>쿼리가 중간으로 밀림"]
    L --> C["04 충돌<br/>중간 정보 = 충돌 해소 실패"]
    L --> D["05 부패<br/>길이 누적 위치 편향"]

관련 형제 노트: 02_02-메커니즘-어텐션-희석 · 02_03-메커니즘-위치-편향-u자형 · 02_08-paper-nolima · 02_07-paper-ruler-benchmark · 02_09-paper-context-length-alone-hurts

참고문헌

그래프 뷰

백링크