컨텍스트 엔지니어링 실패모드 위키

컨텍스트 산만 (Context Distraction)

6 min read

볼트 홈: README

02 컨텍스트 산만 (Context Distraction)

챕터 개관

컨텍스트 윈도우가 100만 토큰까지 커진 시대에도 모델은 입력이 길어질수록 정작 중요한 정보에 집중하지 못하고 흐트러진다. 이 현상이 컨텍스트 산만(Context Distraction)이다. “토큰이 잘려서 못 본다”는 절단(truncation) 문제와 달리, 산만은 모든 정보가 컨텍스트 안에 들어 있는데도 어텐션이 희석되고 위치 편향이 작동해 성능이 무너지는 더 미묘한 실패다. 컨텍스트를 무작정 채우는 RAG·롱컨텍스트 전략이 왜 기대만큼 작동하지 않는지를, 이 챕터는 메커니즘 수준에서 짚는다. 이를 알아야 “광고된 컨텍스트 길이”와 “실효 컨텍스트 길이”를 구분하고 입력을 설계할 수 있다.

TL;DR

  • 긴 컨텍스트가 곧 좋은 컨텍스트는 아니다. 모델의 실효(effective) 컨텍스트는 광고 수치보다 훨씬 짧다.
  • 메커니즘은 두 축이다. 정보량이 늘면 어텐션이 분산되는 어텐션 희석, 그리고 중간에 묻힌 정보를 놓치는 위치 편향(U자형, Lost in the Middle)이다.
  • 모델마다 성능이 급락하는 산만 임계점(Distraction Ceiling)이 있다. 이 선을 넘기지 않게 입력을 줄이고 재배치하는 것이 실무 처방이다.

학습 순서

  1. 02_01-정의-컨텍스트-산만 (concept) — 컨텍스트 산만의 정의와 핵심 직관: 절단이 아닌 “다 들어 있는데 흐트러지는” 실패
  2. 02_02-메커니즘-어텐션-희석 (mechanism) — 어텐션 희석: 토큰이 많아질수록 softmax 어텐션이 분산되어 집중력이 무너지는 원리
  3. 02_03-메커니즘-위치-편향-u자형 (mechanism) — 위치 편향: 시작·끝은 강하고 중간은 약한 Lost in the Middle U자형 성능 곡선
  4. 02_04-개념-산만-임계점 (concept) — 산만 임계점(Distraction Ceiling): 모델별 실효 컨텍스트 한계와 광고 길이와의 괴리
  5. 02_05-사례-pokemon-에이전트 (case) — Pokémon 에이전트 사례: Gemini 2.5 Pro가 긴 히스토리에서 산만해지는 실증

최단경로 — 시간이 없다면 아래 논문 4연속(06~09)은 근거(evidence) 심화이니 건너뛰고 02_11-처방-컨텍스트-산만-완화-체크리스트 처방으로 바로 가도 된다. 메커니즘(01~05)만 이해해도 실무 적용은 가능하다.

  1. 02_06-paper-lost-in-the-middle (paper) — [논문] Lost in the Middle — Liu et al., TACL 2024: 위치 편향의 원전
  2. 02_07-paper-ruler-benchmark (paper) — [논문] RULER — 실효 컨텍스트 길이 측정 벤치마크, Hsieh et al., COLM 2024
  3. 02_08-paper-nolima (paper) — [논문] NoLiMa — 어휘 매칭 단서를 제거한 장문 추론 평가, Modarressi et al., ICML 2025
  4. 02_09-paper-context-length-alone-hurts (paper) — [논문] Context Length Alone Hurts — 길이 자체가 해롭다, Du et al., EMNLP 2025
  5. 02_10-논쟁-산만-vs-훈련부족-vs-아키텍처 (opinion) — 논쟁: 근본 원인은 어텐션 한계인가, 훈련 데이터 부족인가, 위치 인코딩인가
  6. 02_11-처방-컨텍스트-산만-완화-체크리스트 (remedy) — 처방: 컨텍스트 산만 완화 전략과 실무 체크리스트

챕터 개관 다이어그램

flowchart TD
    A[긴 컨텍스트 입력] --> B{정보는 전부<br/>들어 있는가?}
    B -- 아니오 --> T[절단 truncation<br/>※ 본 챕터 범위 밖]
    B -- 예 --> C[컨텍스트 산만<br/>Distraction]
    C --> M1[어텐션 희석<br/>02_02]
    C --> M2[위치 편향 U자형<br/>02_03]
    M1 --> D[산만 임계점 초과<br/>02_04]
    M2 --> D
    D --> E[성능 급락<br/>사례: Pokémon 02_05]
    E --> R[처방: 입력 축소·재배치<br/>02_11]

관련 챕터

  • 01_00_MOC — 컨텍스트 오염(Poisoning): 잘못된 정보가 섞이는 문제 (산만은 “양”, 오염은 “질”)
  • 03_00_MOC — 컨텍스트 혼란(Confusion): 도구·정보 과다로 인한 혼란
  • 04_00_MOC — 컨텍스트 충돌(Clash): 모순되는 정보 간 갈등
  • README — 볼트 홈 / 전체 챕터 인덱스

그래프 뷰

백링크