볼트 홈: README

05장 — 컨텍스트 부패 (Context Rot)

챕터 개관

“1M 토큰 지원”은 기술적 상한(ceiling)이지, 신뢰도 보증(guarantee)이 아니다.

컨텍스트 부패(Context Rot)는 과제 복잡도를 동일하게 통제하더라도 입력 토큰 수가 늘어날수록 LLM 성능이 비균질적으로(non-uniformly) 떨어지는 현상이다. Chroma Research(Hong·Troynikov·Huber, 2025)가 공식화한 개념으로, 최신 모델 18종 전체에서 예외 없이 관측됐다.

이 챕터는 부패의 정의와 분류, 메커니즘, 핵심 논문, 처방, 에이전트 시사점을 아토믹 노트 체계로 풀어낸다.

TL;DR — 5문장 요약

컨텍스트 창이 커졌다고 그만큼 더 믿을 수 있는 것은 아니다. GPT-4.1은 1M 토큰을 ‘지원’하지만 NoLiMa 기준 effective length는 16K에 그친다.
부패를 일으키는 변수는 길이 자체다. 내용이 완벽하게 무해하고 검색이 완벽하며 비관련 토큰을 전부 마스킹해도 저하는 사라지지 않는다(Du et al., 2025).
트랜스포머 어텐션은 표면적 단어 일치(literal match)에 기대는 induction head 기제에 구조적으로 의존하는데, 이 기제가 긴 컨텍스트에서 신호를 희석한다(NoLiMa, 2025).
단일 LLM 호출에 검색과 추론을 한꺼번에 부과하면 이중 과제 병목이 생긴다. Focused(~300 토큰) 입력이 Full(~113K 토큰)보다 모델 18종 전체에서 앞섰다(Chroma, 2025).
처방의 핵심은 컨텍스트 최소화, 위치 설계, 검색-추론 분리다.

학습 순서

#	노트	한 줄 설명
1	05_01-정의-컨텍스트-부패	개념 정의·기원·NIAH 한계·핵심 수치 — 여기서 시작하라
2	05_02-분류-다른-실패모드와의-관계	오염·충돌·위치 편향과의 분류학적 차별점
3	05_03-메커니즘-왜-발생하는가	6가지 메커니즘 심층 분석 (어텐션 희석·위치 편향·길이 병목·이중 과제·구조 역설·부재 어텐션)
4	05_04-paper-context-rot-chroma	Chroma Research 보고서 상세 — 18개 모델·5대 실험·직접 인용
5	05_05-paper-nolima	NoLiMa 논문 — 어휘 매칭 없는 벤치마크·13개 모델 수치·distractor 실험
6	05_06-paper-ruler-helmet-benchmark	RULER·HELMET 벤치마크 — NIAH 확장·응용 카테고리 평가·모델 순위 비교
7	05_07-처방-완화-체크리스트	컨텍스트 부패 대응 처방전 — 압축·위치·재정렬·리랭킹·분리 전략
8	05_08-에이전트-시사점	멀티턴·툴 루프에서 부패가 누적되는 방식 및 에이전트 설계 원칙

챕터 개관 다이어그램

graph TD
    subgraph 원인
        L["입력 길이 증가 (length ↑)"]
    end

    subgraph 메커니즘
        M1["어텐션 신호 희석<br/>(Induction Head 한계)"]
        M2["U자형 위치 편향<br/>(Lost in the Middle)"]
        M3["길이 자체 병목<br/>(마스킹해도 저하 지속)"]
        M4["검색+추론 이중 과제<br/>(인지 부하)"]
    end

    subgraph 결과
        R1["Needle 검색 실패"]
        R2["Abstention 급증"]
        R3["환각 생성"]
        R4["성능 비균질 저하<br/>= Context Rot"]
    end

    L --> M1 & M2 & M3 & M4
    M1 --> R1
    M2 --> R1
    M3 --> R1 & R2
    M4 --> R2 & R3
    R1 & R2 & R3 --> R4

핵심 수치 레퍼런스

연구	핵심 수치
Chroma (2025) — 18개 모델 LongMemEval	Focused ~300 tok > Full ~113K tok, 예외 없이 전 모델
NoLiMa (Modarressi et al., ICML 2025)	13개 모델 중 11개가 32K에서 base score 50% 이하
NoLiMa — GPT-4.1	주장 컨텍스트 1M tok, NoLiMa effective length 16K (62배 간극)
NoLiMa — Distractor 1개	GPT-4o effective length 8K → 1K (87.5% 감소)
Du et al. (2025, EMNLP)	완벽한 검색 + 완전 마스킹 조건에서도 13.9%~85% 저하
RULER (Hsieh et al., COLM 2024)	32K 이상 주장 17개 모델 중 절반만 32K에서 만족스러운 성능
AbsenceBench (Fu et al., 2025)	Claude-3.7-Sonnet 5K 토큰 조건 69.6% F1 — 단기에도 부패

타 챕터 링크

00_00_MOC — 볼트 전체 목차
02 산만 — 비관련 정보의 어텐션 분산 효과 (Shi et al. 2023 GSM-IC)
04 충돌 — 상충 정보 공존 시 모델 판단 실패
06 해결전략 — 검색-추론 분리·서브에이전트 패턴

참고문헌 (챕터 전체)

Context Rot: How Increasing Input Tokens Impacts LLM Performance — Kelly Hong, Anton Troynikov, Jeff Huber, Chroma Research, 2025-07-14, 기술 보고서
NoLiMa: Long-Context Evaluation Beyond Literal Matching — Modarressi et al., ICML 2025
RULER: What’s the Real Context Size of Your Long-Context Language Models? — Hsieh et al., COLM 2024
HELMET: How to Evaluate Long-Context Language Models Effectively and Thoroughly — Yen et al., ICLR 2025
Context Length Alone Hurts LLM Performance Despite Perfect Retrieval — Du et al., Findings of EMNLP 2025
Lost in the Middle: How Language Models Use Long Contexts — Liu et al., TACL 2024
LongMemEval: Benchmarking Chat Assistants on Long-Term Interactive Memory — Wu et al., ICLR 2025
AbsenceBench: Can LLMs Reason About What Is Not There? — Harvey Yiyun Fu et al., 2025
Large Language Models Can be Easily Distracted by Irrelevant Context — Shi et al., ICML 2023
In-context Learning and Induction Heads — Olsson et al., 2022

컨텍스트 엔지니어링 실패모드 위키

탐색기

05장 MOC — 컨텍스트 부패 (Context Rot)