[논문] Context Rot — Chroma Research 보고서 (Hong·Troynikov·Huber, 2025)

상위: 05_00_MOC

한 줄 요지

과제 복잡도를 동일하게 통제해도 입력 토큰 수가 늘어나면 LLM 성능은 비균질적으로(non-uniformly) 저하된다. 이 현상은 18개 최신 모델 전체에서 예외 없이 나타났다.

1. 문제의식: 왜 지금 이 논문인가?

1.1 업계 낙관론의 근거와 그 허점

2024~2025년 무렵 주요 LLM 공급사들은 컨텍스트 창을 극적으로 확대했다.

Gemini 1.5 Pro: 2M 토큰
GPT-4.1: 1M 토큰
Llama 4 Scout: 10M 토큰

여기에 Needle in a Haystack(NIAH) 벤치마크에서 거의 만점에 가까운 결과가 나오자, 업계에는 “장기 컨텍스트 처리는 해결된 문제”라는 분위기가 퍼졌다. 그러나 NIAH는 어휘적 일치(lexical match)에 기대는 극도로 단순한 검색 과제다. ROUGE R-1 기준으로 NIAH는 0.905인 반면, 의미적 연상을 요구하는 NoLiMa는 0.069에 그친다. 두 벤치마크가 측정하는 능력은 사실상 다르다.

“The most commonly used test, Needle in a Haystack (NIAH), is a simple lexical retrieval task…Real applications…demand significantly more processing.” — Hong·Troynikov·Huber, 2025

Chroma Research는 이 낙관론에 정면으로 맞선다. 핵심 주장은 두 가지다.

모델이 컨텍스트를 균일하게 처리한다는 가정은 틀렸다.
관련 정보가 컨텍스트에 존재하느냐보다 그것이 어떻게 제시되느냐가 성능을 결정한다.

“Whether relevant information is present in a model’s context is not all that matters; what matters more is how that information is presented.” — ibid.

1.2 Context Rot의 공식 정의

컨텍스트 부패(Context Rot): 과제 복잡도를 일정하게 통제했는데도 입력 토큰 수가 늘어날수록 LLM 성능이 비균질적으로 저하되는 현상.

“LLMs do not maintain consistent performance across input lengths. Even on tasks as simple as non-lexical retrieval or text replication, we see increasing non-uniformity in performance as input length grows.” — ibid.

2. 방법론 및 실험 설계 개요

2.1 평가 대상 모델 (18개 전체)

제조사	모델
Anthropic (5종)	Claude Opus 4, Claude Sonnet 4, Claude Sonnet 3.7, Claude Sonnet 3.5, Claude Haiku 3.5
OpenAI (7종)	o3, GPT-4.1, GPT-4.1 mini, GPT-4.1 nano, GPT-4o, GPT-4 Turbo, GPT-3.5 Turbo
Google (3종)	Gemini 2.5 Pro, Gemini 2.5 Flash, Gemini 2.0 Flash
Alibaba (3종)	Qwen3-235B-A22B, Qwen3-32B, Qwen3-8B

LLM 호출은 총 194,480회였고, 거부율(refusal rate)은 0.035%(69건)였다.

2.2 실험 구성 다이어그램

graph TD
    A[Context Rot 연구] --> B[실험 A: Needle-Question 유사도]
    A --> C[실험 B: 디스트랙터 영향]
    A --> D[실험 C: Haystack 구조 Original vs. Shuffled]
    A --> E[실험 D: 반복 단어 복제 과제]
    A --> F[실험 E: LongMemEval focused vs. full]
    B --> G[저유사도 쌍일수록 하락 폭 가파름]
    C --> H[디스트랙터 1개만으로도 성능 저하]
    D --> I[역직관: Shuffled > Original]
    E --> J[길이 증가 → 거부·탈선·랜덤 생성]
    F --> K[focused ~300 tok 압도적 우세]

2.3 임베딩 모델 (유사도 측정, 5종)

코사인 유사도 평균으로 needle-question 쌍의 의미적 근접도를 정량화.

text-embedding-3-small (OpenAI)
text-embedding-3-large (OpenAI)
jina-embeddings-v3 (text-matching 모드)
voyage-3-large (Voyage AI)
all-MiniLM-L6-v2 (Sentence Transformers)

2.4 평가자(LLM Judge) 보정

NIAH 출력 약 500건과 LongMemEval 출력 약 600건을 사람이 직접 라벨링했다. 프롬프트를 거듭 다듬어 GPT-4.1 기반 judge의 일치율을 0.99 이상으로 끌어올린 뒤 본 실험에 적용했다.

3. 핵심 실험 A — Needle-Question 유사도

3.1 설계

헤이스택(haystack) 주제별로 의미적 유사도가 다른 8개 needle을 배치. 각 needle에 대한 question과의 코사인 유사도를 5개 임베딩 모델 평균으로 산출.

도메인	유사도 범위	SD
Paul Graham 에세이	0.445 ~ 0.775	±0.1
arXiv 논문	0.521 ~ 0.829	±0.1

8개 입력 길이 × 11개 needle 위치 = 전 조합 테스트.

3.2 핵심 결과

짧은 컨텍스트 구간에서는 고유사도와 저유사도 모두 높은 정확도를 유지한다.
컨텍스트가 길어질수록 저유사도 쌍의 성능 하락이 훨씬 가파르다.
의미적 거리가 먼 needle-question 쌍은 긴 컨텍스트 안에서 어텐션이 둘을 연결하지 못한다.

어텐션 헤드가 어휘 수준의 표면 신호(literal match)에 특화된 induction head 기제에 의존하기 때문으로 보인다. 의미적 연상(semantic association)이 필요한 경우, 긴 컨텍스트 속에서 신호가 희석된다.

4. 핵심 실험 B — 디스트랙터(Distractor) 영향

4.1 설계

고유사도 needle-question 쌍에 대해 세 가지 조건 비교:

Baseline: needle만 존재
단일 디스트랙터: 4개 중 1개 추가
복수 디스트랙터: 4개 전부 추가

디스트랙터는 주제적으로 연관되어 있지만 정확하지 않은 정보(semantically similar but incorrect). 예: “대학 룸메이트의 최고 글쓰기 조언”을 묻는 needle에 대해 교수/다른 스타일/고등학교 등의 변형 삽입.

4.2 핵심 결과

디스트랙터가 하나만 있어도 성능이 눈에 띄게 떨어지고, 컨텍스트가 길어질수록 그 효과는 더 커진다.
디스트랙터 4개의 영향은 균일하지 않다. 그중 3이 유난히 강한 교란을 일으켰고, arXiv 헤이스택 실패 분석에서도 환각 응답에 디스트랙터 #2·#3이 가장 자주 등장했다.
모델별 대응 전략도 갈렸다.
- Claude 계열은 불확실하면 답변을 보류(abstain)하는 경향이 강해 환각율이 가장 낮았다.
- GPT 계열은 틀린 답을 확신 있게 내놓아 환각율이 가장 높았다.
- 어느 전략이 나은지는 도메인과 리스크 수준에 따라 트레이드오프가 갈린다.

이는 Shi et al.(2023, ICML, arXiv:2302.00093)이 GSM-IC 벤치마크에서 보고한 발견, 곧 의미적으로 유사한 비관련 정보가 끼면 LLM 성능이 급격히 떨어진다는 결과를 장문 컨텍스트 환경에서 재현하고 확장한 셈이다. 관련: 02 산만

5. 핵심 실험 C — Haystack 구조 (Original vs. Shuffled)

5.1 설계

동일한 내용의 헤이스택을 두 가지 형태로 비교:

Original: 자연스러운 논리 흐름을 유지한 원본 에세이 순서
Shuffled: 문장 무작위 재배열 — 주제는 동일하지만 논리적 연속성 제거

5.2 역직관적 결과

“Models perform better on shuffled haystacks than on logically structured ones.” — ibid.

이 결과는 18개 모델 전체에서 일관되게 나타났다. 논리적으로 매끄러운 에세이 구조가 오히려 성능을 끌어내린 것이다.

5.3 미해결 해석

Chroma 연구팀은 이 발견의 메커니즘적 설명을 “범위 밖(out of scope)“으로 못 박았다. 거론되는 가설은 다음과 같다.

연속적인 의미 흐름이 어텐션을 needle 바깥으로 끌어당긴다.
에세이의 구조적 패턴이 또 하나의 의미적 디스트랙터로 작용한다.
논리적 연속성이 오히려 needle과 무관한 정보로 향하는 어텐션을 강화한다.

어느 쪽도 mechanistic interpretability 연구 없이는 확정할 수 없다. 2025년 현재로선 미해결 논쟁점이다.

6. 핵심 실험 D — 반복 단어(Repeated Words) 복제 과제

6.1 설계

가장 단순한 과제: 반복 단어 시퀀스에 unique word 1개를 삽입하고 모델에게 그대로 복제하게 함.

단어 수: 25 / 50 / 75 / 100 / 250 / 500 / 750 / 1,000 / 2,500 / 5,000 / 7,500 / 10,000
unique word 위치: 100개 이하는 모든 위치; 이상은 총 단어 수의 1/100 간격
단어 조합 (총 1,090개 변형):
- apple / apples
- golden / Golden
- orange / run
- orange / San Francisco
- San Francisco / sf
- Golden Gate Bridge / Park
평가 지표: 정규화 레벤슈타인 거리(Normalized Levenshtein Distance)
최대 출력 토큰: 입력의 2배; temperature = 0

6.2 모델별 결과

모델	특이 행동
Claude Opus 4	2,500+ 단어 구간 2.89% 거부율. 진행 전 관찰문 생성 후 거부
GPT-4.1	2,500+ 단어 구간 2.55% 거부율
GPT-4.1 mini	”Golden Gate Bridge/Golden Gate Park” 조합에서 입력에 없는 랜덤 단어 생성
GPT-4 Turbo	가장 변동성 높음, 광범위한 랜덤 단어 생성
Gemini 2.5 Pro	500~750 단어부터 URL 조각, 하이픈 반복 등 랜덤 출력 시작. 18개 중 최대 변동성
Qwen3-8B	5,000 단어부터 완전히 무관한 내용 무한 반복 출력 (non-attempt rate 4.21%)
GPT-3.5 Turbo	content_filter 거부율 60.29% → 사실상 실험 제외
Claude Sonnet 3.5	8,192 토큰 출력 한계 도달 전까지 최신 모델보다 우수한 성능

공통 패턴은 이렇다.

unique word가 시퀀스 초반에 있을 때 정확도가 가장 높고, 뒤로 갈수록 급감한다.
상당수 모델이 출력 토큰 한계에 닿기 전에 복제를 끝내지 못한다.
길이가 늘수록 모든 모델에서 성능이 떨어진다.

7. 핵심 실험 E — LongMemEval: focused vs. full

7.1 설계

LongMemEval_s 데이터셋에서 knowledge update, temporal reasoning, multi-session 카테고리 선별 → 306개 프롬프트.

조건	평균 토큰 수	설명
Focused	~300 토큰	관련 대화 세그먼트만 추출
Full	~113,000 토큰	전체 대화 이력 포함

7.2 핵심 결과

18개 모델 전부에서 예외 없이 Focused가 Full보다 성능이 높았다.
Claude Opus 4와 Sonnet 4는 Full 조건에서 불확실성 기반 abstention이 급증해, 격차가 가장 두드러졌다.
질문 유형별 성능 순위(non-thinking 모드)는 knowledge update > multi-session > temporal reasoning이었다.
Thinking 모드(확장 추론)는 양쪽 조건을 모두 개선했지만 길이 격차를 완전히 없애지는 못했다.

7.3 Claude Sonnet 4 실패 사례 (직접 인용)

질문:

“How many days passed between the day I attended the gardening workshop and the day I planted the tomato saplings?”

정답: 6일 (full prompt 내에 날짜 정보 존재)

모델 출력:

“I cannot determine the number of days between the gardening workshop and planting the tomato saplings because the specific dates for these events are not provided in the chat history.”

날짜 정보가 113K 토큰의 full 컨텍스트 안에 분명히 있는데도 모델이 찾아내지 못하고 “정보 없음”으로 처리한 사례다. 컨텍스트 부패가 추론 실패가 아니라 검색 실패로 드러난 전형적인 예다.

7.4 과제 분리 관점에서의 해석

flowchart LR
    A[Focused 조건] --> B["추론(Reasoning)만"]
    C[Full 조건] --> D["검색(Retrieval) + 추론(Reasoning) 동시"]
    D --> E["어텐션 자원 분산 → 성능 저하"]
    B --> F["높은 성능"]

단일 LLM 호출에 “무엇이 관련 있는지 찾기”와 “그것으로 추론하기”를 한꺼번에 떠넘기면 병목이 생긴다. 검색 에이전트와 추론 에이전트를 나누는 멀티에이전트 아키텍처를 정당화하는 근거 중 하나다. → 06 해결전략

8. 모델 계열별 실패 패턴 종합

quadrantChart
    title 모델 계열별 트레이드오프 (길이 증가 시)
    x-axis 낮은 환각율 --> 높은 환각율
    y-axis 낮은 거부율 --> 높은 거부율
    quadrant-1 높은 거부 + 높은 환각 (최악)
    quadrant-2 높은 거부 + 낮은 환각 (보수적)
    quadrant-3 낮은 거부 + 낮은 환각 (이상적)
    quadrant-4 낮은 거부 + 높은 환각 (무모)
    Claude: [0.15, 0.75]
    GPT: [0.85, 0.35]
    Gemini: [0.50, 0.55]
    Qwen: [0.45, 0.60]

계열	두드러진 특성	주의점
Claude (Anthropic)	불확실성 하에서 가장 보수적 — abstention 높음, 환각율 최저. Opus 4 / Sonnet 4에서 가장 두드러짐	답이 컨텍스트 내에 있어도 “모른다”고 답하는 사용성 저하 트레이드오프
GPT (OpenAI)	가장 높은 환각율 — 디스트랙터 존재 시 틀린 답을 확신 있게 생성	GPT-3.5 Turbo는 content_filter 60.29% 거부로 실험 불가
Gemini (Google)	반복 단어 과제 500~750단어부터 랜덤 단어(URL 조각, 특수문자) 생성	Gemini 2.0 Flash: NoLiMa 기준 128K에서 16.4%로 급락
Qwen (Alibaba)	Qwen3-8B: 5,000단어 이상에서 완전히 무관한 출력으로 탈선	non-attempt rate 4.21%

9. 다른 검증 연구와의 연계

Context Rot의 발견은 독립된 여러 연구에서 교차 확인된다.

9.1 NoLiMa (Modarressi et al., ICML 2025, arXiv:2502.05167)

어휘 매칭 없이 의미적 연상만으로 needle을 찾아야 하는 벤치마크 (ROUGE R-1 = 0.069).

Table 3 기준 주요 수치 (13개 모델, 32K 토큰):

모델	Base Score	32K Score	비고
GPT-4o	99.3%	69.7%	유일하게 50% 이상 유지
Claude 3.5 Sonnet	87.5%	29.8%	—
Llama 3.3 70B	97.3%	42.7%	50% 미만 추락
Llama 3.1 405B	94.7%	38.0%	—
Command R+	90.9%	7.4%	가장 극단적 하락
GPT-4.1	97.0%	79.8%	effective length 16K (주장 1M 대비)
Gemini 2.0 Flash	—	16.4% (128K)	—

13개 중 11개 모델이 32K에서 base score의 50% 이하로 떨어졌다. → 05 부패

“Our analysis suggests these declines stem from the increased difficulty the attention mechanism faces in longer contexts when literal matches are absent, making it harder to retrieve relevant information.” — Modarressi et al., 2025

9.2 Du et al. (2025, Findings of EMNLP 2025, arXiv:2510.05381)

“Context Length Alone Hurts LLM Performance Despite Perfect Retrieval”은, 검색이 완벽한 조건(retrieval 오차 없음)에서도 길이 자체 때문에 성능이 13.9%~85% 떨어진다고 보고한다. 비관련 토큰을 공백(whitespace)으로 바꾸거나 아예 마스킹해 모델이 관련 토큰에만 어텐션하도록 강제해도 성능 저하는 사라지지 않았다.

부패가 “비관련 콘텐츠의 잡음”이 아니라 입력 길이 증가 자체에서 비롯된다는 점을 가장 직접적으로 보여 주는 결과다.

완화 전략으로 “관련 증거를 먼저 암송(recite)하게 한 뒤 풀기”가 RULER GPT-4o 기준 최대 4% 성능 개선 효과.

9.3 Liu et al. (2024, TACL 2024) “Lost in the Middle”

관련 정보 위치에 따른 U자형 성능 곡선. 시작/끝에서 높고 중간에서 급락. → 02 산만

9.4 RULER (Hsieh et al., COLM 2024, arXiv:2404.06654)

NIAH를 13개 과제로 확장. 32K 이상 주장 17개 모델 중 절반만 32K에서 만족스러운 성능 유지.

10. 연구 한계

저자들이 명시적으로 설정한 범위 제한:

메커니즘 해석 불가: 왜 성능이 저하되는지에 대한 mechanistic interpretability 분석은 범위 밖. 특히 “Shuffled > Original” 결과의 어텐션 수준 설명이 없음
통제된 과제 복잡도: 실제 응용(멀티스텝 추론, 합성, 에이전트 작업)을 대표하지 않는 단순 과제 사용
헤이스택 도메인 제한: Paul Graham 에세이와 arXiv 논문 두 도메인만 사용
입력 길이와 과제 난이도의 혼재: 일부 조건에서 길이가 늘수록 과제 자체도 어려워지는 교란 가능성
언어 단일성: 영어 데이터만 사용

11. 우리 주제(실패모드)에의 시사점

11.1 컨텍스트 엔지니어링의 핵심 원칙으로 확립

Chroma 연구의 실천적 결론은 단순하다. 많이 넣는다고 좋아지지 않는다.

“Models do not use their context uniformly; instead, their performance grows increasingly unreliable as input length grows.” — ibid.

11.2 Anthropic 공식 권고와의 수렴

Anthropic Engineering(2025)은 “Find the smallest set of high-signal tokens that maximize the likelihood of some desired outcome”라고 못 박는다. Chroma의 발견은 이 원칙에 실증적 근거를 더해 준다.

11.3 실무 적용 7가지 원칙

집중 입력(Focused Input): 무관한 대화 이력과 문서를 걷어내는 일은 효율이 아니라 정확도의 문제다.
위치 설계: RAG 결과나 핵심 정보를 컨텍스트 앞뒤에 배치한다(U자형 곡선 대응).
디스트랙터 제거: 주제만 비슷한 비관련 정보가 하나만 끼어도 성능이 눈에 띄게 떨어진다.
증거 암송 기법: 모델에게 관련 증거를 먼저 재인용하게 한 뒤 추론을 지시한다(최대 4% 개선, Du et al.).
“1M 토큰 지원” 신화 경계: GPT-4.1은 1M을 내세우지만 실제 effective length는 16K에 그친다(NoLiMa 기준).
과제 분리 아키텍처: 검색(Retrieval)과 추론(Reasoning)을 한 번의 호출에서 같이 처리하지 말고 서브에이전트로 나눈다.
도메인별 abstention 전략 선택: Claude의 보수적 거부와 GPT의 확신 있는 답변 가운데 무엇이 맞는지는 리스크 수준에 달려 있다.

11.4 CoT와 Thinking Mode의 한계

Chain-of-Thought 프롬프팅은 어느 정도 도움이 되지만 컨텍스트 부패를 완전히 넘어서지는 못한다. LongMemEval에서 thinking 모드는 양쪽 조건을 모두 끌어올리면서도 focused-full 격차를 지우지 못했고, NoLiMa에서는 GPT-o1(reasoning model)조차 32K에서 31.1%에 머물렀다.

12. 미해결 논쟁점

논쟁	현황
Shuffled > Original의 메커니즘	Chroma “범위 밖” 설정. 해석 가능성 연구 필요
Claude의 abstention: 미덕인가 결함인가	도메인 및 리스크 수준에 따라 다름
컨텍스트 창 확대가 부패를 줄이는가	Du et al.의 완전 마스킹 조건에서도 저하 지속 → 창 크기 자체가 해법이 아님
RAG는 해결책인가 지연인가	검색 품질 낮을 경우 부패 악화 가능. 관련·비관련 문서 혼재 시 리터럴 매칭 왜곡
어떤 벤치마크가 표준이 되어야 하는가	NIAH 포화. NoLiMa/HELMET/RULER 각각 장단 있음. 단일 표준 부재
Thinking mode가 근본 해결책인가	일부 개선이나 32K에서 GPT-o1도 50% 미만

참고문헌

Context Rot: How Increasing Input Tokens Impacts LLM Performance — Kelly Hong, Anton Troynikov, Jeff Huber, 2025년 7월 14일, Chroma Research
NoLiMa: Long-Context Evaluation Beyond Literal Matches — Modarressi et al., ICML 2025
Context Length Alone Hurts LLM Performance Despite Perfect Retrieval — Du et al., Findings of EMNLP 2025
RULER: What’s the Real Context Size of Your Long-Context Language Models? — Hsieh et al., COLM 2024
LongMemEval: Benchmarking Chat Assistants on Long-Term Interactive Memory — Wu et al., ICLR 2025
Lost in the Middle: How Language Models Use Long Contexts — Liu et al., TACL 2024
Large Language Models Can Be Easily Distracted by Irrelevant Context — Shi et al., ICML 2023
HELMET: How to Evaluate Long-Context Language Models Effectively and Thoroughly — Yen et al., ICLR 2025
AbsenceBench: Can LLMs Notice What Is Missing? — Harvey Yiyun Fu et al., 2025

컨텍스트 엔지니어링 실패모드 위키

탐색기