컨텍스트 엔지니어링 실패모드 위키

어텐션 희석 — 왜 긴 컨텍스트에서 집중력이 무너지는가

21 min read

상위: 02 산만

한 줄 정의

긴 컨텍스트에서 어텐션 가중치가 전체 토큰에 분산되면서 희석되고, 모델은 표면적 어휘 단서(lexical shortcut)에 의존하게 되며, 훈련 데이터의 위치 빈도 좌편향(left-skewed position distribution)이 이 취약성을 구조적으로 고착시킨다. 세 메커니즘은 독립적으로 작동하지 않고 서로를 강화한다.

1. 문제의식 — “길수록 더 잘 알아야 하지 않나?”

직관적으로 보면, 모델에게 더 많은 정보를 주면 더 잘 답해야 한다. 그런데 실제로는 반대 현상이 벌어진다. RULER 벤치마크(Hsieh et al., COLM 2024)에서 같은 모델이 4K 토큰 컨텍스트에서 96%의 정확도를 기록하다가, 128K 토큰에서는 60%대로 추락한다. NoLiMa(Modarressi et al., ICML 2025)는 한발 더 나아가, 질문과 답의 어휘가 겹치지 않을 때 32K 토큰에서 13개 모델 중 11개가 단문 기준 성능의 절반 이하로 무너진다는 것을 보였다.

이 붕괴는 세 가지 하위 메커니즘으로 분해된다.

  • 어텐션 가중치 희석: 토큰이 늘어날수록 가중치가 분산된다.
  • 어휘 단서 의존: 어텐션은 표면 어휘 매칭을 단서로 삼는다.
  • 위치 빈도 좌편향: 훈련 분포 자체가 장거리 통합에 불리하다.

이 세 메커니즘을 이해하면 컨텍스트 산만 임계점(distraction ceiling)이 왜 발생하는지, 그리고 어떤 시나리오에서 특히 위험한지를 설명할 수 있다.

2. 메커니즘 A — 어텐션 가중치 희석 (Attention Weight Dilution)

2.1 O(N²)의 직관적 의미

트랜스포머의 셀프 어텐션(self-attention)은 모든 토큰 쌍에 대해 유사도를 계산한다. 토큰 수가 N이면 비교 쌍은 N²개다.

컨텍스트 길이레이어당 토큰 쌍 비교
4K 토큰약 1,600만 쌍
32K 토큰약 10억 쌍
300K 토큰약 900억 쌍

숫자 자체보다 중요한 것은 소프트맥스(softmax)의 정규화 효과다. 어텐션 가중치는 softmax를 거쳐 합이 1이 되도록 정규화되므로, 토큰 수가 늘어날수록 각 토큰이 가져가는 평균 가중치는 그만큼 줄어든다. 아무리 중요한 정보라도 전체 풀 속에서 차지하는 가중치는 희석되고 만다.

graph LR
    subgraph 4K 컨텍스트
        Q1[쿼리 토큰] -->|가중치 분산 범위 좁음| K1[키 토큰들 4K개]
        K1 -->|관련 토큰 집중도 높음| V1[값 집계]
    end
    subgraph 300K 컨텍스트
        Q2[쿼리 토큰] -->|가중치 분산 범위 극대| K2[키 토큰들 300K개]
        K2 -->|관련 토큰 희석됨| V2[값 집계 - 잡음 증가]
    end

2.2 어텐션은 실제로 얼마나 희소한가

실제 모델에서 어텐션은 희소(sparse)하게 분포한다. letsdatascience.com(2026)의 분석에 따르면:

상위 10%의 위치가 전체 어텐션 가중치의 38%를 점유한다.

결과는 역설적이다. 모델이 “집중”할 수 있다는 뜻처럼 보이지만, 동시에 나머지 90% 위치가 남은 62%를 나눠 갖는다는 뜻이기도 하다. 300K 토큰 계약서에서 핵심 조항 30K 토큰에 95%의 어텐션이 집중된다면, 나머지 270K 토큰에 흩어진 세부 조항들은 5%의 주의만 받는다. Flash Attention(Dao et al., 2022)이 메모리 효율을 극적으로 끌어올렸지만, 가중치 희석 문제 자체는 해결하지 못했다. 같은 결과를 더 빠르게, 더 적은 메모리로 계산할 뿐이다.

2.3 “Lost in the Middle” — 위치에 따른 희석의 불균등성

Liu et al.(TACL 2024)은 희석이 위치에 따라 균등하게 발생하지 않는다는 것을 보였다. 성능 곡선은 U자형(U-shaped)을 그린다.

정보 위치평균 정확도
컨텍스트 처음91%
컨텍스트 중간73.2%
컨텍스트 끝88.2%

중간 위치 정보는 처음 위치 대비 약 18 퍼센트포인트 저하된다(letsdatascience.com, 2026, RULER 기반 수치). 이 패턴은 인간의 초두 효과(primacy effect)와 최신 효과(recency effect)에 대응되며, 긴 컨텍스트를 지원한다고 설계된 모델에서도 예외 없이 관찰된다.

3. 메커니즘 B — 어휘 단서 의존과 NoLiMa의 실증

3.1 어텐션이 찾는 것: 표면 유사성

어텐션 메커니즘은 쿼리(query)와 키(key)의 내적(dot product)으로 유사도를 계산한다. 이 내적은 임베딩 공간에서의 근접성을 재는데, 사전훈련된 임베딩은 어휘적으로 유사한 토큰들이 벡터 공간에서도 가까이 놓이도록 학습된다. 그래서 질문의 단어와 정답 근처의 단어가 표면적으로 겹칠수록 어텐션이 그 영역으로 쏠리기 쉽다.

문제는 이런 상황에서 불거진다. 질문은 “계약 해지 조건”을 묻는데 실제 조항에는 “종료(termination)“라는 단어만 있고 “해지”라는 표현은 없다. 혹은 “연봉 인상 기준”을 묻는데 관련 내용이 “보상 조정 메커니즘”으로 서술되어 있다. 이럴 때 어텐션은 관련 정보를 찾는 데 근본적인 어려움을 겪는다.

3.2 NoLiMa 벤치마크 — 어휘 단서 없애기

Modarressi et al.(ICML 2025)의 NoLiMa(No Literal Matching)는 이 가설을 실험으로 확인했다. 기존 벤치마크와 달리 질문과 핵심 정보(needle) 사이의 표면적 어휘 중복을 의도적으로 최소화해, 모델이 진정한 잠재 연상 추론(latent associative reasoning)을 해야만 답할 수 있도록 설계했다.

핵심 수치(ICML 2025 최종 버전):

모델단문 컨텍스트32K 토큰하락폭
GPT-4o99.3%69.7%−29.6 pp
Llama 3.3 70B97.3%42.7%−54.6 pp
Claude 3.5 Sonnet87.6%29.8%−57.8 pp
Command R+90.9%7.4%−83.5 pp

13개 모델 중 11개가 32K에서 단문 기준 성능의 50% 이하로 떨어졌다. 어휘 단서가 없을 때 현재의 어텐션 아키텍처가 장문 컨텍스트에서 관련 정보를 식별하는 데 구조적으로 취약하다는 증거다.

“The core difficulty lies in the increased difficulty the attention mechanism faces in longer contexts when literal matches are absent.” — Modarressi et al., NoLiMa, ICML 2025

flowchart TD
    A[긴 컨텍스트 입력] --> B{어휘 단서 존재?}
    B -->|예: 질문 단어 = 정답 근처 단어| C[어텐션 집중 가능<br/>성능 유지 가능성↑]
    B -->|아니오: 개념 매칭만 가능| D[어텐션 분산<br/>장문에서 관련 정보 식별 실패]
    D --> E[NoLiMa 실험:<br/>32K에서 11/13 모델 50% 이하]
    C --> F[NIAH 스타일 벤치마크:<br/>대부분 모델 99% 근접]
    F --> G[벤치마크의 허상:<br/>NIAH ≠ 실제 추론 능력]

3.3 NIAH 벤치마크의 함정

바닐라 NIAH(Needle-In-A-Haystack) 테스트에서 GPT-4.1 같은 대형 모델은 100%에 가까운 성능을 보인다. 이유는 바로 어휘 단서다. 삽입된 “needle” 문장이 대개 질문의 핵심 단어를 그대로 품고 있기 때문이다. RULER(Hsieh et al., COLM 2024)가 이 허점을 드러냈다. 바닐라 NIAH에서 99%를 기록하는 같은 모델이 multi-hop NIAH나 집계(aggregation) 태스크에서는 같은 컨텍스트 길이에서 60%대로 주저앉는다.

컨텍스트 혼란(Context Confusion)을 논할 때 이 벤치마크의 격차는 중요한 참조점이 된다.

4. 메커니즘 C — 위치 빈도의 좌편향 (Left-Skewed Position Distribution)

4.1 훈련 데이터의 구조적 불균형

An et al.(arXiv:2410.18745, 2024)은 오픈소스 LLM의 실효 컨텍스트 길이가 훈련 길이의 50%를 넘지 못하는 현상을 두고 그 근본 원인을 추적했다. 결론은 사전훈련(pretraining)과 사후훈련(post-training) 데이터에서 상대적 위치(relative position)의 빈도 분포가 좌편향되어 있다는 것이었다.

쉽게 말하면 자연어 텍스트에서는 가까운 단어끼리 관계를 맺는 경우가 압도적으로 많다. 주어와 동사, 수식어와 피수식어, 원인과 결과가 대부분 짧은 거리에서 맞물린다. 반면 문서의 1페이지와 100페이지 사이를 잇는 개념 연결은 드물다. 모델은 이 분포를 그대로 학습하므로, 장거리 위치 쌍(distant position pairs)을 다루는 능력이 훈련 단계에서부터 불리하게 굳는다.

xychart-beta
    title "상대적 위치(distance) vs. 훈련 데이터 빈도 (개념도)"
    x-axis [1, 100, 500, 1K, 4K, 16K, 64K, 128K]
    y-axis "빈도 (상대적)" 0 --> 100
    line [100, 85, 60, 40, 20, 8, 3, 1]

위 다이어그램은 개념적 예시다. 실제 분포는 모델과 데이터에 따라 다르다.

4.2 STRING — 훈련 없이 위치 인코딩을 재배치하다

An et al.이 제안한 STRING(ShifTed Rotary position embeddING)은 이 문제를 우아하게 우회한다. 핵심 아이디어는 이미 잘 훈련된(well-trained) 단거리 위치 표현을 훈련이 부족한 장거리 위치에 덮어쓰는(shift) 것이다. 추가 훈련은 필요 없다.

성능 개선 결과는 다음과 같다.

  • Llama 3.1 70B + STRING: RULER와 InfiniteBench에서 10점 이상 개선, GPT-4-128K를 초과
  • Qwen2 72B + STRING: 유사한 개선폭, Claude 2와 Kimi-chat을 상회

함의가 작지 않다. 장거리 컨텍스트 취약성은 모델 크기의 문제가 아닐 수 있다는 것이다. 위치 인코딩(positional encoding) 설계가 더 결정적인 요인일 수 있고, 그것은 추론 시점에 손볼 수 있다.

5. 세 메커니즘의 상호작용

세 메커니즘은 독립적으로 작동하는 것이 아니라 서로를 악화시킨다.

graph TD
    A[컨텍스트 길이 증가] --> B[어텐션 가중치 희석<br/>Mechanism A]
    A --> C[어휘 단서 없이<br/>관련 정보 찾기 어려움<br/>Mechanism B]
    A --> D[훈련된 위치 범위 초과<br/>Mechanism C]
    
    B --> E[핵심 정보의<br/>가중치 감소]
    C --> E
    D --> F[위치 인코딩 신뢰도 하락]
    
    E --> G[어텐션이 lexical shortcut에<br/>더 의존하려 함]
    F --> G
    G --> H[어휘 단서 없는 상황에서<br/>극단적 성능 저하]
    
    H --> I[NoLiMa: 32K에서<br/>11/13 모델 50% 이하]
    H --> J[RULER: 광고 컨텍스트 대비<br/>50~65% 수준에서만 신뢰 가능]

가장 위험한 시나리오는 세 메커니즘이 한꺼번에 켜질 때다. 긴 컨텍스트, 어휘가 겹치지 않는 개념 매칭, 훈련 길이 초과가 동시에 맞물리는 경우다. 에이전트 워크플로에 쌓이는 히스토리가 바로 이 조건을 만들기 쉽다. 초기 계획 단계의 개념적 제약 조건을 수만 토큰 뒤에서 어휘 단서도 없이 이어 붙여야 할 때, 어텐션은 그 연결을 놓친다.

이것이 산만 임계점(distraction ceiling)이 발생하는 미시적 메커니즘이다.

6. “컨텍스트 길이 자체가 문제다” — Du et al. (EMNLP 2025)의 보강

Du et al.(arXiv:2510.05381, EMNLP 2025 Findings)은 이 메커니즘들에 결정적인 보강 증거를 보탰다. 연구 설계가 특별하다. 무관한 토큰을 제거하거나 공백으로 바꾸거나 마스킹해서 잡음(noise)을 완벽히 걷어내고 검색 품질을 통제해도, 컨텍스트 길이가 늘어나면 성능이 떨어졌다.

이는 컨텍스트 산만이 “정보 노이즈 증가” 문제만이 아니라, 어텐션 메커니즘에 가해지는 컨텍스트 길이 그 자체의 구조적 부담임을 뜻한다.

해결책으로 제안된 “증거 재인용(evidence recitation)” 프롬프트, 즉 모델이 답변에 앞서 관련 근거를 먼저 다시 인용하도록 유도하는 방식은 GPT-4o 기준 최대 4% 성능 개선을 가져왔다. 효과는 있지만 근본 해법은 아니다.

7. 실천적 시사점 (AI 강사/AX 컨설턴트 관점)

7.1 Flash Attention에 대한 오해 교정

고객이나 수강생이 “Flash Attention이 있으니 긴 컨텍스트 문제는 해결됐다”고 말한다면 정확하게 짚어줘야 한다.

  • Flash Attention이 해결한 것: 메모리 사용량(O(N²) → O(N))과 계산 속도
  • Flash Attention이 해결하지 못한 것: softmax 정규화에서 비롯한 가중치 희석 자체

메모리 효율 개선과 어텐션 집중도 개선은 다른 문제다.

7.2 벤치마크 읽기의 함정

NIAH 99% 수치를 “긴 컨텍스트 지원 완벽”으로 읽으면 안 된다. 대신 다음을 따져 물어야 한다.

  • 이것이 어휘 매칭 기반 retrieval 태스크인가, 개념 추론 태스크인가?
  • RULER나 NoLiMa 같은 복합 벤치마크에서의 성능은?
  • 실제 사용 시나리오가 단순 검색인가, 다단계 추론인가?

7.3 프롬프트 엔지니어링 전략

메커니즘 이해를 바탕으로 한 실용적 대응:

메커니즘대응 전략
어텐션 가중치 희석중요 정보를 컨텍스트의 처음 또는 끝에 배치(Lost in the Middle 역이용)
어휘 단서 의존핵심 개념의 동의어/변형어를 시스템 프롬프트에 명시적으로 연결
위치 빈도 좌편향장거리 참조가 필요한 경우, 해당 정보를 답변 직전에 재인용하도록 유도
세 메커니즘 복합컨텍스트 압축·요약으로 유효 길이 자체를 줄이기 (06장 해결전략 참조)

7.4 산만 임계점의 실무적 기준

메커니즘을 이해하면 임계점 수치가 왜 모델마다 다른지 설명된다:

  • 모델이 클수록, 임베딩 차원이 높을수록, 어텐션 헤드가 많을수록 희석에 더 강하다.
  • 위치 인코딩 방식(RoPE, ALiBi 등)에 따라 장거리 의존성 처리 능력이 다르다.
  • 사후훈련(post-training) 데이터에 장문 추론 예제가 많을수록 더 늦게 무너진다.

“왜 Gemini 2.5 Pro는 100K에서 에이전트 산만이 시작되는데, Llama 3.1 70B는 32K인가?”는 이 세 요소의 조합으로 설명된다.

8. 한계 및 열린 질문

  • 어텐션 희소성 통계의 문맥 의존성: 상위 10% 위치가 38% 가중치를 점유한다는 수치는 특정 태스크와 모델 기준이다. 도메인, 태스크 유형, 모델 크기에 따라 이 분포는 달라질 수 있다.
  • 추론 모델(reasoning model)의 면역 가능성: Chain-of-Thought를 내재화한 o1/o3 계열 모델은 산만 임계점이 더 높을 수 있다. NoLiMa는 16K 이상에서 한계가 있다고 지적하지만, 더 최신 추론 모델들에 대한 체계적 검증은 아직 진행 중이다.
  • STRING의 일반화 가능성: An et al.(2024)의 STRING은 RoPE 기반 모델에 특화된 방법이다. 다른 위치 인코딩 방식을 쓰는 모델에도 같은 원리가 똑같이 통하는지는 더 확인해야 한다.
  • KV 캐시 압축의 효과: KV 캐시(Key-Value Cache)를 선택적으로 제거하거나 양자화할 때 어텐션 희석 패턴이 어떻게, 어느 방향으로 바뀌는지는 아직 충분히 연구되지 않았다.

참고문헌

그래프 뷰

백링크