상위: 00_00_MOC
00_04 — 컨텍스트 로트 (Context Rot)
핵심 명제
“더 큰 컨텍스트 윈도우(1M 토큰)는 문제를 해결하지 않고 연기할 뿐이다.” 최신 LLM 18종 모두에서 입력 길이가 늘수록 성능이 단조 감소했다. 이 현상을 Context Rot이라 부른다.
1. Chroma Research: 18-모델 실증 연구
제목: Context Rot: How Increasing Input Tokens Impacts LLM Performance 저자: Kelly Hong, Anton Troynikov, Jeff Huber 발행일: 2025-07-14 링크: https://www.trychroma.com/research/context-rot
연구 개요
GPT-4.1, Claude 4, Gemini 2.5, Qwen3 등 당시 최신 프론티어 모델을 포함한 LLM 18종을 대상으로 컨텍스트 길이가 늘어날 때 성능이 어떻게 변하는지 측정했다. Needle-in-a-Haystack 방법론을 확장한 태스크를 썼다.
핵심 발견
“model performance varies significantly as input length changes, even on simple tasks” “Performance degrades consistently across all tested models as context length increases” — Kelly Hong et al., 2025
- 단조 감소(Monotonic Decrease): 18개 모델 모두에서 입력 길이가 늘면 F1 점수가 단조 감소했고, 예외는 없었다.
- 최급 저하 구간: 1M 토큰 윈도우를 가진 모델에서도 약 300,000~400,000 토큰 구간에서 성능 저하가 뚜렷하게 나타났다.
- 비균일 저하: 성능은 길이에 비례해 고르게 떨어지지 않았다. needle과 question의 유사도가 낮을수록 저하가 더 빨랐다.
역설적 발견: 스크램블된 헤이스택
“models perform better on shuffled haystacks than on logically structured ones”
논리적으로 잘 이어진 문서(coherent haystack)보다 무작위로 섞은 문서(scrambled haystack)에서 모델 성능이 더 좋았다. 서사적 흐름이 오히려 검색을 방해할 수 있다는 뜻이다. 직관에는 어긋나지만 실험으로 확인된 결과다.
특정 방해꾼(distractor)의 비균일 영향
특정 distractor는 다른 것들보다 일관되게 더 많은 환각을 유발했다. Claude 모델은 GPT 계열보다 환각률이 낮았다.
xychart-beta title "Context Rot 개념도: 컨텍스트 길이 증가 시 F1 성능 저하" x-axis ["8K", "32K", "64K", "128K", "256K", "512K", "1M"] y-axis "F1 성능 (상대값 %)" 0 --> 100 line [95, 88, 78, 65, 48, 30, 18]
위 그래프는 Chroma가 보고한 “단조 감소”와 “300K~400K 최급 저하” 경향을 개념적으로 시각화한 것이다. 특정 모델의 실측치는 아니다.
2. Lost in the Middle — U자형 성능 곡선
제목: Lost in the Middle: How Language Models Use Long Contexts 저자: Nelson F. Liu, Kevin Lin, John Hewitt, Ashwin Paranjape, Michele Bevilacqua, Fabio Petroni, Percy Liang 발행: TACL Vol.12, 2024 (초고: 2023) 링크: https://aclanthology.org/2024.tacl-1.9/
핵심 발견
“performance is often highest when relevant information occurs at the beginning or end of the input context, and significantly degrades when models must access relevant information in the middle of long contexts.”
LLM은 컨텍스트의 앞과 끝에 놓인 정보는 잘 다루지만 중간에 묻힌 정보에는 약하다. 이 패턴을 U자형 성능 곡선이라 부른다.
xychart-beta title "Lost in the Middle: 정보 위치에 따른 성능 (U자형 곡선 개념도)" x-axis ["앞(위치 1)", "위치 2", "위치 3", "위치 4(중간)", "위치 5", "위치 6", "끝(위치 7)"] y-axis "정답률 (%)" 0 --> 100 line [82, 68, 55, 42, 53, 66, 78]
개념적 시각화. 실제 수치는 논문의 다문서 QA 실험 결과표 참조.
인간의 인지와의 유사성
사람의 serial position effect, 곧 처음과 마지막 항목을 더 잘 기억하는 경향과 닮은 패턴이다. 이것이 모델 훈련에서 비롯된 것인지 어텐션 메커니즘의 구조적 특성인지는 아직 연구가 진행 중이다.
3. Databricks Long Context RAG 연구
제목: Long Context RAG Performance of Large Language Models 저자: Quinn Leng, Jacob Portes, Sam Havens, Matei Zaharia, Michael Carbin (Databricks) 발행: arXiv:2411.03538, 2024
핵심 발견:
“only a handful of the most recent state of the art LLMs can maintain consistent accuracy at long context above 64k tokens.”
64K 토큰을 넘어서면 일관된 정확도를 유지하는 모델은 극소수에 그쳤다. 긴 컨텍스트를 지원한다는 것이 곧 긴 컨텍스트를 잘 활용한다는 뜻은 아니라는 얘기다.
특정 모델의 퍼센트 변화 같은 구체 수치는 논문 전문을 확인하는 편이 좋다. 64K 이상에서 소수 모델만 일관성을 유지한다는 방향성은 분명하다.
4. ContextBudget — 2026년에도 미해결 과제
제목: ContextBudget: Budget-Aware Context Management for Long-Horizon Search Agents 저자: Yong Wu, YanZhao Zheng, TianZe Xu, ZhenTao Zhang, YuanQiang Yu, JiHuai Zhu, Chao Ma, BinBin Lin, BaoHua Dong, HangCheng Zhu, RuoHui Huang, Gang Yu 발행: arXiv:2604.01664, 2026-04-02
“LLM-based agents show strong potential for long-horizon reasoning, yet their context size is limited by deployment factors (e.g., memory, latency, and cost), yielding a constrained context budget.”
이 논문이 나왔다는 사실 자체가 컨텍스트 예산 문제가 2026년에도 여전히 미해결 과제임을 보여준다. 논문은 BACM-RL(Budget-Aware Context Management with Reinforcement Learning) 프레임워크를 제안했고, 고복잡도 태스크에서 강한 baseline 대비 1.6배 이상의 성능 향상을 보고했다.
5. 실무 함의
| 함의 | 설명 |
|---|---|
| ”1M 토큰 = 해결”이 아님 | 큰 창은 로트를 연기할 뿐이다 |
| 중간에 넣으면 잊힌다 | 중요 정보는 앞이나 끝에 배치한다 |
| 일관성 확인 필수 | 64K 이상에서 실제 정확도를 직접 실험한다 |
| coherent 구조 ≠ 더 좋은 검색 | 스크램블 haystack이 더 잘 검색될 수 있다 |
참고문헌
- Context Rot: How Increasing Input Tokens Impacts LLM Performance — Kelly Hong, Anton Troynikov, Jeff Huber, 2025-07-14, Chroma Research
- Lost in the Middle: How Language Models Use Long Contexts — Nelson F. Liu et al., 2024, TACL Vol.12
- Long Context RAG Performance of Large Language Models — Quinn Leng et al., 2024, arXiv:2411.03538 (Databricks)
- ContextBudget: Budget-Aware Context Management for Long-Horizon Search Agents — Yong Wu et al., 2026-04-02, arXiv:2604.01664
관련 노트: 00_03-Transformer-어텐션-KV캐시 · 00_05-에이전트-컨텍스트-누적 · 00_06-5대-실패모드-분류 · 05 부패 · 00_핵심용어집