컨텍스트 엔지니어링 실패모드 위키

컨텍스트 부패(Context Rot) — 정의와 용어의 기원

29 min read

상위: 05_00_MOC

컨텍스트 부패(Context Rot) — 정의와 용어의 기원

한 줄 정의

“1M 토큰 지원”은 기술적 상한(ceiling)일 뿐 신뢰도 보증(guarantee)이 아니다. 입력 길이가 늘어난다는 사실 자체가, 내용의 품질이나 과제 난이도와 무관하게, LLM 성능을 비균질적으로(non-uniformly) 떨어뜨린다.

1. 개념의 등장 배경: 초대형 컨텍스트 창 경쟁의 시대

2024~2025년 사이 주요 LLM 제공사들은 경쟁적으로 컨텍스트 창 크기를 키웠다.

모델공표 컨텍스트 창
Gemini 1.5 Pro2,000,000 토큰
GPT-4.1 (OpenAI)1,000,000 토큰
Llama 4 Scout (Meta)10,000,000 토큰
Claude 3 (Anthropic)200,000 토큰

숫자는 인상적이었다. 마침 같은 시기에 Needle in a Haystack(NIAH) 벤치마크에서 최신 모델들이 거의 만점에 가까운 성능을 내기 시작했고, 업계의 지배적 서사는 “장기 컨텍스트 처리는 이미 풀린 문제(solved problem)“라는 쪽으로 기울었다.

이 서사에는 치명적인 맹점이 있었다. NIAH는 어휘적 매칭(lexical matching), 즉 문자 그대로 같은 문자열을 찾아내는 과제에 의존한다. NIAH의 ROUGE R-1 점수가 0.905에 이른다는 것은 정답이 거의 그대로 입력에 들어 있는 과제를 풀고 있다는 뜻이다. 실제 에이전트 작업이나 다중 문서 요약, 장기 대화 이력 활용, 시간 추론처럼 현실적인 시나리오와는 근본적으로 다른 능력을 재고 있었던 셈이다.

이 맹점을 정면으로 겨냥한 것이 Chroma Research의 2025년 7월 보고서다.

2. 공식 정의: Chroma Research(2025)

컨텍스트 부패(Context Rot)는 Chroma Research의 Kelly Hong, Anton Troynikov, Jeff Huber가 2025년 7월 14일 발표한 기술 보고서 “Context Rot: How Increasing Input Tokens Impacts LLM Performance”(https://www.trychroma.com/research/context-rot)에서 공식화한 개념이다.

“LLMs do not maintain consistent performance across input lengths. Even on tasks as simple as non-lexical retrieval or text replication, we see increasing non-uniformity in performance as input length grows.” — Chroma Research, 2025

“Models do not use their context uniformly; instead, their performance grows increasingly unreliable as input length grows.” — Chroma Research, 2025

정의를 풀어쓰면 이렇다.

과제 복잡도를 일정하게 통제하더라도, 입력 토큰 수가 늘어날수록 LLM 성능이 비균질적으로(non-uniformly) 저하되는 현상.

정의의 세 요소 분해

요소의미왜 중요한가
통제된 과제 복잡도난이도가 고정된 상태에서도 부패가 발생”긴 문서는 원래 어렵다”는 반박을 차단
비균질성(non-uniformity)성능 저하가 선형적·예측 가능한 방식이 아님안전 마진 계산이 불가능함을 의미
길이의 함수내용이 아닌 토큰 수 자체가 원인 변수좋은 내용을 더 많이 넣어도 악화될 수 있음
graph LR
    A["입력 토큰 수 증가<br/>(length ↑)"] --> B{"과제 복잡도<br/>통제됨"}
    B --> C["성능 저하<br/>(non-uniform)"]
    C --> D["예측 불가능한 패턴"]
    C --> E["모델마다 다른 실패 양상"]
    C --> F["위치·유사도 의존성"]

3. 기존 통념 비판: NIAH 벤치마크의 어휘적 매칭 한계

Chroma 보고서가 가장 먼저 겨냥하는 것은 NIAH 벤치마크에 대한 과도한 신뢰다.

Greg Kamradt가 2023년 개발한 NIAH(https://github.com/gkamradt/LLMTest_NeedleInAHaystack)는 긴 문서 안에 짧은 사실(“The best thing to do in San Francisco is eat a sandwich and sit in Dolores Park on a sunny day”)을 숨겨두고 모델이 이를 찾아내는지 시험한다. 구조상 어휘 검색(lexical retrieval)에 해당한다. 같은 단어가 입력에 들어 있으니 그대로 복사하면 그만이다.

2025년 기준 SOTA 모델들은 NIAH에서 거의 만점을 받는다. 바로 이 점이 “장기 컨텍스트 처리가 해결됐다”는 서사의 근거였다.

그러나 NoLiMa(Modarressi et al., ICML 2025)는 동일한 검색 과제에서 어휘적 매칭을 제거했을 때 어떤 일이 일어나는지 보여준다.

벤치마크ROUGE R-1비고
NIAH0.905거의 모든 정답이 입력에 그대로 존재
RULER0.809NIAH 확장, 여전히 높은 리터럴 매칭
NoLiMa0.069사실상 어휘 매칭 없음 — 의미 추론 필요

NoLiMa 조건에서 모델 성능은 급락한다. 13개 모델 중 11개가 32K 토큰에서 기준 성능(base score)의 50% 이하로 떨어진다. GPT-4.1은 공표된 컨텍스트 창이 1M 토큰이지만, NoLiMa 기준 effective length는 16K에 그친다.

컨텍스트 부패 개념이 등장한 핵심 배경이 여기에 있다. 기술적 상한은 신뢰도 보장과 같지 않다.

4. 분류학적 위치: 다른 컨텍스트 실패 모드와의 관계

컨텍스트 부패는 컨텍스트 엔지니어링 실패 모드 분류 체계 안에서 길이(length)를 주 원인 변수로 삼는 고유한 범주를 차지한다.

실패 모드주 원인 변수핵심 특징
컨텍스트 부패 (Context Rot)길이토큰 수 증가 자체가 성능 저하 유발
컨텍스트 오염 (01 오염)내용악성/노이즈 정보 주입
컨텍스트 혼란 (02 산만)내용·구조관련 없는 정보가 어텐션 분산
컨텍스트 충돌 (04 충돌)내용 간 모순상충 정보 공존
위치 편향 (Position Bias)위치정보 위치가 성능 결정 (부패의 하위 메커니즘)

컨텍스트 부패의 고유성은 내용이 완전히 무해하고 과제가 동일하더라도 그저 분량이 “더 많아지는” 것만으로 성능을 떨어뜨린다는 데 있다. 다른 실패 모드가 “무엇이 들어 있느냐(what)“의 문제라면, 부패는 “얼마나 많이 들어 있느냐(how much)“의 문제인 셈이다.

graph TD
    A[컨텍스트 실패 모드] --> B[내용 기반<br/> Content-based]
    A --> C[길이 기반<br/> Length-based]
    A --> D[위치 기반<br/> Position-based]
    B --> B1[오염<br/>Poisoning]
    B --> B2[산만<br/>Distraction]
    B --> B3[충돌<br/>Clash]
    C --> C1["컨텍스트 부패<br/>Context Rot ← 여기"]
    D --> D1[위치 편향<br/>Position Bias]
    C1 -.->|하위 메커니즘 포함| D1

5. 실험 설계 상세 (Chroma Research, 2025)

Chroma는 18개 모델을 대상으로 5가지 실험 계열을 수행했다.

5.1 대상 모델 (총 18개)

  • Anthropic: Claude Opus 4, Sonnet 4, Sonnet 3.7, Sonnet 3.5, Haiku 3.5
  • OpenAI: o3, GPT-4.1, GPT-4.1 mini, GPT-4.1 nano, GPT-4o, GPT-4 Turbo, GPT-3.5 Turbo
  • Google: Gemini 2.5 Pro, Gemini 2.5 Flash, Gemini 2.0 Flash
  • Alibaba: Qwen3-235B-A22B, Qwen3-32B, Qwen3-8B

5.2 실험 A: Needle-Question 유사도와 성능 저하

5개 임베딩 모델의 코사인 유사도 평균으로 needle-question 쌍의 의미적 거리를 정량화했다.

  • PG essays 도메인: 유사도 범위 0.445~0.775
  • arXiv 도메인: 유사도 범위 0.521~0.829

핵심 발견은 이렇다. 유사도가 낮을수록, 곧 의미적으로 더 먼 needle-question 쌍일수록, 컨텍스트가 길어질 때 성능 저하 기울기가 가팔라진다. 짧은 컨텍스트에서는 고유사도와 저유사도를 모두 잘 처리하지만, 길어질수록 저유사도 쌍에서 훨씬 큰 하락이 나타난다. 어텐션이 리터럴 매칭 없이 의미 연상(semantic association)에 기댈 때 더 취약하다는 뜻이다.

5.3 실험 B: 디스트랙터(Distractor) 영향

조건: needle 단독(baseline) / needle + 디스트랙터 1개 / needle + 디스트랙터 4개.

발견:

  • 디스트랙터를 하나만 추가해도 유의미한 성능 저하가 나타난다.
  • 디스트랙터 4개는 저하를 더 키운다.
  • 다만 4개가 똑같이 해로운 것은 아니다. 주제적으로 더 유사한 특정 디스트랙터가 나머지보다 훨씬 강한 교란을 일으킨다. 이 또한 비균질성의 한 사례다.
  • Claude 모델은 불확실할 때 abstain(답변 거부)하는 경향이 있어 환각율이 낮다.
  • GPT 모델은 환각율이 가장 높다.

이 현상은 Shi et al.(2023, ICML, arXiv:2302.00093)의 발견을 장문 컨텍스트 환경에서 재현하고 확장한 것이다. Shi et al.은 GSM-IC 벤치마크에서 의미적으로 유사한 비관련 정보가 끼어들 때 LLM 성능이 극적으로 무너진다는 점을 처음으로 체계화했다.

5.4 실험 C: Haystack 구조 (문장 순서)

Original(자연스러운 논리 흐름의 에세이) vs. Shuffled(문장 무작위 재배열) 비교.

역직관적 결과(18개 모델 전체에서 일관): 논리적으로 일관된(original) haystack보다 무작위로 뒤섞인(shuffled) haystack에서 성능이 더 높다.

Chroma는 이를 모델이 구조적 흐름에 어텐션 용량을 쓰다 보면 오히려 needle 검색 능력이 떨어질 가능성으로 해석했다. 다만 해석 가능성(mechanistic interpretability) 연구가 뒷받침되지 않은 만큼, 확정적 설명은 미해결로 남겨 두었다.

5.5 실험 D: LongMemEval (focused vs. full)

사용 데이터: LongMemEval_s의 knowledge update, temporal reasoning, multi-session 카테고리 → 306개 프롬프트

조건평균 토큰 수설명
focused~300 토큰관련 내용만 추출한 집중 입력
full~113,000 토큰전체 대화 이력 포함

결과는 18개 모델 전체에서 예외 없이 focused가 full보다 우세했다. Claude Opus 4와 Sonnet 4는 전체 입력에서 불확실성에 따른 abstention이 급증했다.

실제 실패 사례(Claude Sonnet 4, full prompt 조건, Chroma 보고서 수록):

질문: “How many days passed between the day I attended the gardening workshop and the day I planted the tomato saplings?”
정답: 6일 (날짜가 full prompt 내에 명시되어 있음)
모델 출력: “I cannot determine the number of days between the gardening workshop and planting the tomato saplings because the specific dates for these events are not provided in the chat history.”

이것이 컨텍스트 부패의 민낯이다. 답은 분명 컨텍스트 안에 있는데, 모델이 그것을 찾지 못한다.

5.6 실험 E: 반복 단어(Repeated Words) 과제

과제: 단순 반복 시퀀스(25~10,000 단어, unique word 1개 삽입)를 그대로 복제. 평가: 정규화 Levenshtein 거리.

결과:

  • 18개 모델 모두 컨텍스트가 길어질수록 성능이 떨어졌다.
  • Claude Opus 4: 2,500단어 이상 구간에서 거부율 2.89%.
  • GPT-4.1: 2,500단어 이상 구간에서 거부율 2.55%.
  • Gemini 2.5 Pro: 500~750단어부터 랜덤 단어(URL 조각, 하이픈 반복 등)를 생성하기 시작.
  • Qwen3-8B: 5,000단어부터 완전히 무관한 내용을 무한 반복.
  • GPT-3.5 Turbo: content_filter 거부율 60.29%로 실험에서 제외.
  • unique word 위치 정확도: 시퀀스 초반부에서 가장 높고 후반부로 갈수록 급감.

이 과제는 컨텍스트 부패를 가장 순수하게 보여 주는 증거다. 내용은 전혀 복잡하지 않다. 반복 단어를 그대로 베끼는 일조차 토큰 수가 늘어났다는 이유만으로 실패한다.

6. 핵심 수치 요약 (독립 검증 연구 포함)

NoLiMa (Modarressi et al., ICML 2025, arXiv:2502.05167)

ICML 2025에서 발표된 연구로, 어휘 매칭을 제거한 조건에서 컨텍스트 부패 현상을 확인한다.

모델base 성능32K 성능하락폭
GPT-4o99.3%69.7%-29.6%p
Llama 3.3 70B97.3%42.7%-54.6%p
Llama 3.1 405B94.7%38.0%-56.7%p
Command R+90.9%7.4%-83.5%p
Claude 3.5 Sonnet87.5%29.8%-57.7%p
GPT-4.1 (1M 지원)97.0%79.8%-17.2%p (effective length: 16K)
Gemini 2.0 Flash—16.4% (128K)—

13개 모델 중 11개가 32K에서 base score의 50% 이하로 떨어진다.

Du et al. (2025, Findings of EMNLP 2025, arXiv:2510.05381)

“Context Length Alone Hurts LLM Performance Despite Perfect Retrieval”

이 연구는 컨텍스트 부패의 원인 변수를 가장 직접적으로 분리한다. 검색 오차가 전혀 없는 완벽한 검색 조건에서도 성능 하락이 13.9%~85%에 이르며, 심지어 다음과 같은 경우에도 저하가 이어진다.

  • 비관련 토큰을 공백(whitespace)으로 대체해도 저하가 지속된다.
  • 비관련 토큰을 완전히 마스킹해 모델이 관련 토큰에만 어텐션하도록 강제해도 저하가 지속된다.

컨텍스트 부패가 “비관련 콘텐츠의 잡음” 문제가 아니라 입력 길이 증가 그 자체에서 비롯한다는 점을 가장 강하게 보여 주는 결과다.

RULER (Hsieh et al., COLM 2024, arXiv:2404.06654)

  • NIAH를 13개 과제로 확장(multi-hop, aggregation 포함)
  • 32K 이상 컨텍스트를 주장하는 17개 모델 가운데 절반만 32K에서 만족스러운 성능을 낸다
  • ROUGE R-1 0.809 — 여전히 리터럴 매칭 의존

7. 메커니즘: 왜 컨텍스트 부패가 발생하는가?

7.1 어텐션 메커니즘의 구조적 한계

“Our analysis suggests these declines stem from the increased difficulty the attention mechanism faces in longer contexts when literal matches are absent, making it harder to retrieve relevant information.” — NoLiMa (Modarressi et al., ICML 2025)

어텐션 헤드는 표면적 반복 패턴(literal match)에 특화된 ‘induction head’ 기제에 기댄다. 의미적 연상(semantic association)이 필요한 상황에서는 이 기제가 제대로 작동하지 않고, 긴 컨텍스트 속에서 신호가 희석된다(Olsson et al., 2022 “In-context learning and induction heads” 참조).

7.2 위치 편향: U자형 성능 곡선

Liu et al.(2024, TACL 2024) “Lost in the Middle”에 따르면, 관련 정보가 컨텍스트 시작이나 끝에 있을 때는 성능이 높지만(각각 primacy bias, recency bias) 중간으로 갈수록 급격히 떨어진다. GPT-3.5-Turbo, Llama, MPT-30B 모두 중간 위치에서 최저 성능을 보였다. 이 위치 편향은 컨텍스트 부패의 하위 메커니즘으로, 길이가 늘어날수록 “중간” 구간이 넓어지면서 부패 효과를 증폭한다.

xychart-beta
    title "Lost in the Middle: 관련 정보 위치별 성능"
    x-axis ["앞쪽 (Primacy)", "앞-중간", "중간", "중간-끝", "끝 (Recency)"]
    y-axis "정답률 (%)" 0 --> 100
    line [70, 55, 40, 52, 68]

7.3 완벽한 검색 조건에서도 지속되는 부패

Du et al.(2025)의 마스킹 실험은 컨텍스트 부패가 단순히 “잡음 때문”이라는 설명을 논리적으로 기각한다. 잡음을 없애도 부패가 남는다는 것은 길이 자체가 어텐션 계산에 근본적인 부담을 준다는 뜻이다.

완화 전략으로 Du et al.은 모델이 문제를 풀기 전에 관련 증거를 먼저 암송하게 하는 프롬프팅(evidence recitation prompting)을 제시하는데, RULER GPT-4o 기준 최대 4% 향상을 보고한다.

7.4 검색+추론 동시 수행의 인지 부하

Chroma의 LongMemEval 실험에서 focused 입력(추론만)과 full 입력(검색+추론)의 성능 차이는 한 가지 명제를 시사한다. 긴 컨텍스트는 모델에게 “무엇이 관련 있는지 찾기”라는 과제를 추가로 떠안기고, 그 부담이 “어떻게 답할지 추론하기”라는 본래 과제의 성능을 잠식한다는 것이다.

이는 멀티에이전트·서브에이전트 전략의 핵심 근거이기도 하다. 검색과 추론을 별도의 단계나 별도의 에이전트에 맡기면 각 과제에서 더 나은 성능을 끌어낼 수 있다.

8. 모델별 실패 패턴 비교

모델 계열두드러진 특성
Claude (Anthropic)불확실성 하에서 가장 보수적 — abstention 높음, 환각율 가장 낮음. Opus 4/Sonnet 4에서 두드러짐. 사용성 저하의 트레이드오프 발생
GPT (OpenAI)가장 높은 환각율 — 디스트랙터 존재 시 틀린 답을 확신 있게 생성. GPT-3.5 Turbo는 content_filter 거부 60%
Gemini (Google)반복 단어 과제에서 500~750단어부터 랜덤 단어(URL 조각, 특수문자 등) 생성. Gemini 2.0 Flash는 128K에서 16.4%(NoLiMa)
Qwen (Alibaba)Qwen3-8B: 5,000단어부터 완전히 무관한 출력으로 탈선

환각율 순서(Chroma 기준): GPT > Gemini/Qwen > Claude. 보수성(abstention) 순서(Chroma 기준): Claude >> 기타.

이 차이는 훈련 방식, 특히 RLHF나 Constitutional AI에서 불확실성을 다루는 방식의 차이를 반영하는 것으로 보인다. 다만 직접적인 원인은 아직 확정되지 않았다.

9. 벤치마크 생태계: 무엇을 믿어야 하는가?

벤치마크ROUGE R-1측정 범위한계
NIAH (Kamradt 2023)0.905어휘 검색포화 상태, 실제 응용과 괴리
RULER (Hsieh et al., COLM 2024)0.809NIAH+13개 과제여전히 리터럴 매칭 의존
NoLiMa (Modarressi et al., ICML 2025)0.069의미 기반 검색현재 가장 까다로운 장문 벤치마크 중 하나
HELMET (Yen et al., ICLR 2025)—7개 응용 카테고리RULER보다 실제 응용에 가깝고 모델 순위 신뢰도 높음
LongMemEval (Wu et al., ICLR 2025)—장기 대화 기억 5가지 능력500개 큐레이션 질문, 상업 어시스턴트 30% 하락 보고
AbsenceBench (Fu et al., 2025)—결여된 정보 인식5K 토큰에서도 저하, 부패가 단기에도 적용됨 시사

특히 AbsenceBench(Harvey Yiyun Fu et al., arXiv:2506.11440)는 중요한 시사점을 제공한다:

“Transformer attention mechanisms cannot easily attend to ‘gaps’ in documents since these absences don’t correspond to any specific keys that can be attended to.”

5K 토큰이라는 비교적 짧은 길이에서도 Claude-3.7-Sonnet은 F1-score 69.6%에 그쳤다. 컨텍스트 부패가 수십만 토큰의 극단적 장문에만 국한되지 않는다는 뜻이다.

10. 실무 시사점 (AI 강사·AX 컨설턴트 관점)

원칙 1. “컨텍스트 창 크기 = 실제 활용 가능 크기”가 아님

GPT-4.1의 공표 컨텍스트는 1M 토큰이지만 NoLiMa 기준 effective length는 16K다. 이 간극이 모든 것을 말해 준다. 고객사에 LLM을 도입할 때 “최대 몇 토큰까지 지원합니까?”는 잘못된 질문이다. “실제로 어느 길이까지 신뢰할 만한 성능이 보장됩니까?”라고 물어야 한다.

원칙 2. 집중 입력(Focused Input) 원칙

Anthropic Engineering(2025) 권고:

“Find the smallest set of high-signal tokens that maximize the likelihood of some desired outcome.”

불필요한 대화 이력이나 무관한 문서를 덜어 내는 일은 단순한 비용 효율의 문제가 아니라 정확도의 문제다. Chroma의 LongMemEval 실험에서 focused(~300 토큰)는 18개 모델 전체에서 full(~113K 토큰)보다 우세했다.

원칙 3. 정보의 위치 설계

RAG 결과나 시스템 프롬프트를 컨텍스트 앞쪽이나 뒤쪽에 배치하라. “Lost in the Middle” 효과(Liu et al., 2023)에 대응하는 가장 단순한 전략이다.

원칙 4. 디스트랙터 의식적 제거

주제적으로 유사하지만 정확하지 않은 정보를 컨텍스트에서 적극적으로 배제하라. 디스트랙터 1개만으로도 유의미한 성능 저하가 발생한다(Chroma, 2025; NoLiMa, 2025). RAG 파이프라인에서 recall보다 precision을 중시해야 하는 이유다.

원칙 5. 증거 암송(Evidence Recitation) 프롬프팅

모델에게 관련 증거를 먼저 암송하게 한 뒤 문제를 해결하도록 프롬프팅하면 장문 컨텍스트 성능 개선 가능(Du et al., 2025 — RULER GPT-4o 기준 최대 4% 향상).

원칙 6. LLM을 “균일한 컴퓨팅 시스템”으로 취급하는 위험

같은 입력이 같은 결과를 낼 것이라는 가정은 길이가 늘어나면 무너진다. 컨텍스트 부패 정의의 핵심 단어가 비균질성(non-uniformity)이라는 점을 기억하자. 프로덕션 시스템을 설계할 때는 “100K 토큰짜리 프롬프트가 10K 토큰짜리보다 10배 더 취약할 수 있다”는 안전 마진을 반드시 염두에 두어야 한다.

11. 미해결 논쟁점

  1. 구조는 왜 성능을 낮추는가? Shuffled가 Original haystack보다 나은 결과의 mechanistic interpretability 원인은 아직 확정되지 않았다. 해석 가능성 연구가 필요한 영역이다.

  2. Claude의 abstention은 미덕인가 결함인가? 환각은 줄여 주지만, 답이 컨텍스트에 있는데도 “모른다”고 답하면 사용성이 떨어진다. 도메인마다 최적 전략이 다를 수 있다.

  3. 컨텍스트 창이 더 커지면 부패가 줄어드는가? Du et al.(2025)의 완전 마스킹 조건에서도 저하가 이어진 만큼, 단순한 창 크기 확장은 해법이 아닐 가능성이 높다.

  4. RAG는 해결책인가, 미봉책인가? 검색 품질이 낮으면 오히려 Context Rot를 악화할 수 있다. 관련 문서와 비관련 문서가 함께 검색되면 리터럴 매칭이 왜곡될 우려가 있다(NoLiMa).

  5. 어떤 벤치마크가 업계 표준이 되어야 하는가? NIAH는 이미 포화 상태다. NoLiMa, HELMET, RULER가 저마다 장단점을 가지며, 2026년 현재 단일 표준은 없다.

  6. Thinking mode(확장 추론)는 근본 해결책인가? LongMemEval에서 일부 개선이 있었고 NoLiMa-Hard에서 GPT-o1이 Llama CoT보다 우수했지만, 32K에서는 여전히 50% 미만이다. 완전한 해결책은 아니다.

관련 노트

  • 05_00_MOC — 챕터 05 목차
  • 01 오염 — 내용 기반 실패 모드와의 대비
  • 02 산만 — 비관련 정보의 어텐션 분산 효과
  • 04 충돌 — 모순 정보의 충돌 메커니즘
  • 06 해결전략 — 검색-추론 분리 전략
  • 08 실전 — Claude 실전 적용 시 컨텍스트 설계

참고문헌

그래프 뷰

백링크