상위: 02_00_MOC
산만 임계점 (Distraction Ceiling) — 모델별 실효 컨텍스트 한계
핵심 명제
광고된 컨텍스트 길이(advertised context length)와 실효 컨텍스트 길이(effective context length)는 다르다. 컨텍스트가 특정 임계값, 곧 산만 임계점(distraction ceiling)을 넘어서면 모델의 행동은 양적으로가 아니라 질적으로 바뀐다. 검색(retrieval)은 여전히 멀쩡히 작동하는 듯 보이지만, 새로운 계획(novel planning)과 다단계 추론(multi-step reasoning)은 무너진다.
이 개념에 처음 이름을 붙인 사람은 Drew Breunig(2025-06-22, dbreunig.com)다. 그는 에이전트 워크플로에서 컨텍스트 과부하가 부르는 실패 모드를 컨텍스트 산만(Context Distraction)이라 정의하고, 그 한계선을 “distraction ceiling”이라 불렀다.
“Context Distraction is when a context grows so long that the model over-focuses on the context, neglecting what it learned during training.” — Drew Breunig, How Contexts Fail and How to Fix Them, 2025-06-22
1. 왜 임계점이 존재하는가 — 메커니즘
1.1 어텐션의 O(N²) 구조적 한계
트랜스포머 어텐션(Transformer Attention)은 N개 토큰 사이에서 O(N²) 쌍을 비교한다. 300K 토큰 문서라면 레이어당 약 900억 쌍의 비교가 일어난다. Flash Attention 같은 최적화로 메모리 효율은 나아졌지만, 어텐션 가중치 희석(attention weight dilution) 문제는 구조적으로 남는다. 실제 모델의 어텐션은 희소(sparse)해서 상위 10% 위치가 전체 어텐션 가중치의 38%를 차지한다(letsdatascience.com, 2026). 300K 토큰 문서라면 핵심이 되는 30K 토큰 영역에 어텐션이 쏠리고 나머지는 희석되는 셈이다.
2025년 EMNLP 논문 “Context Length Alone Hurts LLM Performance Despite Perfect Retrieval”(Du et al., arXiv:2510.05381)은 이 구조적 문제를 결정적으로 실증했다. 검색 품질을 완벽히 통제하고 무관한 토큰을 공백이나 마스킹으로 바꿔 잡음을 걷어내도, 컨텍스트 길이 자체만으로 수학, QA, 코딩 과제 전반에서 성능이 떨어졌다. 컨텍스트 산만은 단순한 노이즈 증가 문제가 아니라 어텐션 아키텍처에 따라붙는 고유한 부담인 것이다.
1.2 위치 편향 — “Lost in the Middle”
Liu et al.(TACL, 2024)의 핵심 발견은 관련 정보의 위치가 성능을 좌우한다는 것이다.
- 성능 곡선은 U자형(U-shaped)을 그린다. 컨텍스트의 처음과 끝에 놓인 정보는 잘 활용되지만, 중간에 놓이면 성능이 급락한다.
- 인간의 초두 효과(primacy effect)·최신 효과(recency effect)와 닮은 패턴이다.
- 중간 위치의 정확도 하락 폭은 처음·끝 위치 대비 18~20퍼센트포인트에 이른다(letsdatascience.com, 2026).
- “explicitly long-context models”를 내세우는 모델에서도 똑같이 관찰됐다.
graph LR A["컨텍스트 시작<br/>(처음 정보)"] -->|높은 어텐션| R["정답 생성"] B["컨텍스트 중간<br/>(잃어버린 정보)"] -->|낮은 어텐션 → 무시| X["❌ 정답 실패"] C["컨텍스트 끝<br/>(마지막 정보)"] -->|높은 어텐션| R style B fill:#ffcccc style X fill:#ff9999
1.3 위치 빈도의 좌편향 — 훈련 데이터 분포
An et al.(arXiv:2410.18745, 2024)은 오픈소스 LLM의 실효 컨텍스트 길이가 훈련 길이의 50%를 넘지 못하는 구조적 원인을 분석했다. 사전훈련(pretraining)과 사후훈련(post-training) 단계에서 단거리 위치 쌍이 장거리 쌍보다 훨씬 자주 등장하는 탓에, 상대적 위치(relative position) 빈도 분포가 좌편향(left-skewed)된다. 추론할 때 원거리 정보를 통합하는 일이 구조적으로 비효율적인 이유가 여기 있다.
해결책으로 제안된 STRING(ShifTed Rotary position embeddING)은 추가 훈련 없이 잘 훈련된 단거리 위치 가중치를 원거리 위치에 덮어쓰는 방식이다. Llama 3.1 70B와 Qwen2 72B에서 RULER·InfiniteBench를 10점 넘게 끌어올려 GPT-4-128K 수준에 도달했다. 위치 인코딩 설계가 모델 크기만큼이나 중요할 수 있음을 보여주는 증거다.
1.4 어휘 매칭 단서(Lexical Shortcut) 의존
NoLiMa 벤치마크(Modarressi et al., ICML 2025)는 질문과 관련 정보(needle) 사이의 표면적 어휘 중복을 최소화했을 때 무슨 일이 벌어지는지 측정했다. 결과는 이렇다.
- 32K 컨텍스트에서 13개 중 11개 모델이 단문 컨텍스트 대비 성능이 50% 이하로 떨어졌다.
- GPT-4o는 99.3%에서 69.7%로(−29.6pp), Claude 3.5 Sonnet은 87.6%에서 29.8%로, Command R+는 90.9%에서 7.4%로 주저앉았다.
어텐션 메커니즘은 표면적인 어휘 매칭이 없으면 장문 컨텍스트에서 관련 정보를 가려내는 데 근본적으로 애를 먹는다. NIAH(Needle-in-a-Haystack)처럼 needle과 질문이 같은 키워드를 공유하는 쉬운 벤치마크는 이 취약성을 가려버린다.
2. 모델별 산만 임계점 — 실측 데이터
아래 표는 RULER(Hsieh et al., COLM 2024), Databricks(2024), Gemini 2.5 기술 보고서(Google DeepMind, 2025) 등 복수의 독립 연구에서 도출한 모델별 산만 임계 추정치다.
| 모델 | 광고 컨텍스트 | 산만 임계 추정치 | 주요 실패 양상 | 출처 |
|---|---|---|---|---|
| Mixtral-8x7B | 32K | ~4K | 4K 이후 급락, 장문에서 중국어 문자 반복 | Databricks 2024 |
| DBRX-instruct | 32K | ~8~32K | 8K→32K 구간 지시 불이행 5.2%→50.4% | Databricks 2024 |
| Llama 3.1 405B | 128K | ~32K | 32K 이후 정확도 하락 시작 | Databricks 2024 |
| GPT-4-0125-preview | 128K | ~64K | 64K 이후 하락, RULER 4K→128K −15.4pp | Databricks 2024 / RULER |
| Claude-3-sonnet | 200K | ~16K 최적 | 32K에서 저작권 거부 오류 21% 급증 | Databricks 2024 |
| Gemini 1.5 | 1M | 128K+ | 4K→128K −2.3pp (최고 내성) | RULER COLM 2024 |
| Gemini 2.5 Pro | 1M | ~100K | 100K 초과 시 에이전트 행동 반복·고착 | Gemini 2.5 Tech Report 2025 |
일반 법칙(RULER 기준, letsdatascience.com 2026): 실효 컨텍스트 길이는 보통 광고 컨텍스트의 50~65% 수준에 그친다.
xychart-beta title "광고 컨텍스트 vs 실효 컨텍스트 (토큰 단위)" x-axis ["Mixtral-8x7B", "Llama 3.1 405B", "GPT-4", "Claude-3-sonnet", "Gemini 1.5"] y-axis "토큰 (K)" 0 --> 200 bar [32, 128, 128, 200, 200] bar [4, 32, 64, 16, 128]
3. 에이전트의 고유 취약성 — Gemini 2.5 Pro Pokémon 사례
에이전트 워크플로에서 산만 임계점은 단순 RAG보다 훨씬 이른 시점에 나타난다. 가장 직접적인 사례가 Gemini 2.5 기술 보고서(Google DeepMind, 2025)와 Drew Breunig의 분석(2025-06-17)에 기록된 Pokémon 에이전트 실험이다.
Gemini 2.5 Pro가 Pokémon 게임을 플레이하는 에이전트로 작동할 때, 컨텍스트가 100K 토큰을 넘어서자 에이전트는 새 계획을 세우는 대신 과거 히스토리의 행동을 되풀이하는 경향을 보였다. 실제로 에이전트는 Pewter City 뒷마당에서 원을 그리며 몇 시간을 갇혀 있었고, 컨텍스트 강제 초기화(force-clearing)로만 빠져나왔다.
“In this agentic setup, it was observed that as the context grew significantly beyond 100k tokens, the agent showed a tendency toward favoring repeating actions from its vast history rather than synthesizing novel plans. This phenomenon, albeit anecdotal, highlights an important distinction between long-context for retrieval and long-context for multi-step, generative reasoning.” — Gemini 2.5 Tech Report, Google DeepMind, 2025
눈여겨볼 수치가 있다. Gemini 2.5 Pro는 1M 토큰 컨텍스트를 광고하지만, 에이전트 추론의 저하는 이미 100K 수준에서 나타났다. 광고 컨텍스트의 10% 지점에서 산만 임계점에 닿은 셈이다.
주의: 기술 보고서 자체가 이 사례를 “anecdotal”이라고 못박는다. 에이전트 전용 장문 컨텍스트 벤치마크(LOCA-bench, AgentLongBench 등)는 2026년 들어 본격화됐고, 정적 검색에는 강하지만 동적 정보 합성에 취약하다는 에이전트 특유의 패턴을 체계적으로 확인하는 중이다.
flowchart TD A["컨텍스트 < 임계점<br/>에이전트 정상 작동"] --> B{"임계점 돌파?"} B -- "아니오" --> A B -- "예" --> C["훈련 지식 무시<br/>히스토리 과의존"] C --> D["반복 행동 고착<br/>Novel Plan 실패"] D --> E["에이전트 루프 탈출 불가"] E --> F["컨텍스트 강제 초기화로만 해결"] style C fill:#ffe0cc style D fill:#ffccaa style E fill:#ff9999
4. RULER 벤치마크 — 실효 컨텍스트 길이의 체계적 측정
Hsieh et al.(COLM 2024)의 RULER(Realistic Uniform Long-context Evaluation and Ranking)는 17개 장문 컨텍스트 LLM을 4개 카테고리 13개 태스크로 평가했다. 바닐라 NIAH(Needle-In-A-Haystack)보다 현실적인 복합 과제(multi-hop 추론, 집계, 질문 답변)를 담았다.
핵심 발견은 다음과 같다.
- 32K를 지원한다고 주장하는 모델 가운데 절반만이 32K에서 만족스러운 성능을 유지했다.
- NIAH에서 99%를 찍어도 RULER에서는 같은 컨텍스트 길이에서 60%대로 떨어질 수 있다.
- “장문 컨텍스트 지원”이라는 마케팅 문구가 과제 유형에 크게 좌우된다는 사실을 드러냈다.
RULER 종합 점수: 4K → 128K 변화
| 모델 | 4K | 128K | 변화 |
|---|---|---|---|
| Gemini-1.5 | 96.7% | 94.4% | −2.3pp |
| GPT-4 | 96.6% | 81.2% | −15.4pp |
| Llama 3.1 70B | 96.5% | 66.6% | −29.9pp |
| Yi-34B | 93.3% | 77.3% | −16pp |
| Mistral-v0.2 | 93.6% | 13.8% | −79.8pp (사실상 붕괴) |
| DBRX | 93.5% (4K) | ~0% (128K) | 완전 붕괴 |
실효 컨텍스트 길이(Effective Context Length) 정리
| 모델 | 광고 컨텍스트 | 실효 컨텍스트 길이 |
|---|---|---|
| Gemini-1.5 | 1M | 128K+ |
| GPT-4 | 128K | ~64K |
| Llama 3.1 70B | 128K | ~64K |
| Qwen2-72B | 128K | ~32K |
| Yi-34B | 200K | ~32K |
5. 논쟁: “산만”인가 vs. “부족한 훈련”인가
컨텍스트 산만의 근본 원인을 두고 해석 논쟁이 이어진다. 이 주제는 산만 vs 훈련부족 논쟁에서 깊이 다루되, 여기서는 핵심 구도만 정리한다.
해석 A — 어텐션 아키텍처의 구조적 한계
- Du et al.(EMNLP 2025): 잡음을 제거한 뒤에도 길이 자체로 성능이 저하 → 어텐션 부담이 원인
- An et al.(2024) STRING: 위치 인코딩 수정만으로 10점 넘게 개선 → 위치 임베딩 설계가 결정적
- NoLiMa(ICML 2025): 어휘 매칭 단서가 없을 때 극적인 성능 하락 → 어텐션의 구조적 편향
해석 B — 장문 컨텍스트 사후훈련 데이터 부족
- Databricks 2024: Claude-3-sonnet의 저작권 거부와 DBRX의 요약 반복은 장문 컨텍스트 사후훈련(post-training) 부족으로 읽을 수 있음
- 같은 아키텍처라도 훈련 데이터 구성에 따라 임계점이 달라짐
현재 학계의 입장은 두 원인이 함께 작동한다는 쪽이다. STRING의 성공 사례는 아키텍처 측 원인이 독립적으로 기여한다는 점을 강하게 뒷받침한다. 한편 Gemini 1.5의 예외적인 강인성은 훈련 데이터 품질이 임계점을 뒤로 밀어낼 수 있음을 보여준다.
6. AI 강사·컨설턴트를 위한 핵심 메시지
이 섹션은 클라이언트에게 전해야 할 실천적 메시지를 추린다. 관련 완화 전략의 상세 내용은 06 해결전략을 참조하라.
메시지 1 — “1M 토큰 = 1M 토큰 사용 가능”이 아니다
광고된 컨텍스트 길이와 실효 컨텍스트 길이 사이의 간극은 보통 35~50%다. Gemini 2.5 Pro의 에이전트 사례에서는 이 간극이 90%까지 벌어졌다(1M 광고, 100K 실효). 클라이언트가 “이 모델은 1M 토큰이니 긴 문서를 한 번에 넣을 수 있다”고 말한다면, 어떤 과제를 염두에 둔 것인지부터 물어야 한다.
메시지 2 — 검색과 추론은 임계점이 다르다
같은 모델이라도 단순 검색(NIAH 99%)과 복합 추론(RULER 60%)의 임계점은 다르다. RAG 파이프라인의 청크 검색은 128K에서도 잘 돌아갈 수 있지만, 검색한 문서들을 종합해 새 계획을 세우는 에이전트는 32K에서 벌써 불안정해지기도 한다.
메시지 3 — 중요 정보는 처음이나 끝에 배치하라
“Lost in the Middle” 위치 편향을 거꾸로 활용한 프롬프트 구성이 실질적인 성능 차이를 만든다. 시스템 프롬프트, 핵심 지침, 사용자 질문의 순서를 의도적으로 설계하는 것이다. RAG에서는 가장 관련성 높은 청크를 컨텍스트의 처음이나 끝에 두는 편이 중간에 두는 것보다 18~20pp 유리하다.
메시지 4 — 에이전트 히스토리는 주기적으로 압축하라
누적된 히스토리가 새 계획 생성을 방해하므로, 슬라이딩 윈도우 요약이나 중요 사건 압축이 필요하다. ACON(Kang et al., ICML 2026) 연구는 컨텍스트 압축으로 토큰 사용량을 26~54% 줄이면서 성능을 최대 46% 끌어올렸다고 보고한다.
메시지 5 — 증거 재인용 프롬프트를 활용하라
Du et al.(EMNLP 2025)이 제안한 증거 재인용(evidence recitation) 기법이 있다. 답변에 앞서 관련 근거를 먼저 인용하도록 유도하면 GPT-4o 기준 최대 4%의 성능 개선이 가능하다. 단순하지만 곧바로 써먹을 수 있는 프롬프트 전술이다.
7. 열린 연구 질문
- KV 캐시(Key-Value Cache) 압축·양자화·선택적 제거 전략이 산만 임계점에 미치는 영향은 아직 충분히 연구되지 않았다.
- 추론 모델(reasoning model, o1·o3 계열)은 산만 임계점이 더 높을까? Chain-of-Thought이 어느 정도 완화 효과를 보이지만 16K 이상에서는 한계가 있다는 관찰(NoLiMa)이 있다.
- 1M 토큰 컨텍스트가 에이전트 추론에도 실질적으로 도움이 되는 조건은 존재하는가, 아니면 에이전트 설계는 늘 적극적인 컨텍스트 관리를 전제해야 하는가?
- 01 오염과의 상호작용도 남는 질문이다. 오염된 컨텍스트는 산만 임계점을 더 낮추는가?
참고문헌
- How Contexts Fail and How to Fix Them — Drew Breunig, 2025-06-22, dbreunig.com
- Long Context RAG Performance for LLMs — Databricks Research, 2024, Databricks Blog
- Long Context Models: Working with 1M Token Windows — Let’s Data Science, 2026
- Gemini 2.5 Technical Report — Google DeepMind, 2025
- RULER: What’s the Real Context Size of Your Long-Context Language Models? — Hsieh et al., COLM 2024
- Lost in the Middle: How Language Models Use Long Contexts — Liu et al., TACL 2024
- NoLiMa: Long-Context Evaluation Beyond Literal Matching — Modarressi et al., ICML 2025
- Context Length Alone Hurts LLM Performance Despite Perfect Retrieval — Du et al., EMNLP 2025 Findings
- STRING: Improving Long-Context LLMs via Shifted Position IDs — An et al., 2024