컨텍스트 엔지니어링 실패모드 위키

[논문] Context Length Alone Hurts — Du et al., EMNLP 2025

24 min read

상위: 02_00_MOC

[논문] Context Length Alone Hurts — Du et al., EMNLP 2025

한줄 요지

검색 품질이 완벽하더라도, 심지어 무관 토큰을 공백으로 대체하거나 완전히 마스킹하더라도 컨텍스트 길이 그 자체가 LLM 성능을 13.9~85%까지 떨어뜨린다. 컨텍스트 산만(context distraction)이 단순한 “정보 노이즈” 문제가 아니라 어텐션 메커니즘의 구조적 한계라는 뜻이다.

1. 논문 기본 정보

항목내용
제목Context Length Alone Hurts LLM Performance Despite Perfect Retrieval
저자Yufeng Du, Minyang Tian, Srikanth Ronanki, Subendhu Rongali, Sravan Bodapati, Aram Galstyan, Azton Wells, Roy Schwartz, Eliu A Huerta, Hao Peng
소속University of Illinois at Urbana-Champaign · Amazon.com Inc. · Argonne National Laboratory · The Hebrew University of Jerusalem · USC Information Sciences Institute · University of Chicago
게재지Findings of EMNLP 2025
arXiv2510.05381
제출일2025년 10월 6일
라이선스CC BY 4.0

2. 문제의식 — 이 논문이 묻는 것

2.1 기존 연구의 가정

“장문 컨텍스트에서 LLM 성능이 떨어지는 이유는 무관한 정보(irrelevant information)가 노이즈로 작용하기 때문이다.”

이것이 기존 컨텍스트 산만 연구의 지배적 가정이었다. RAG 파이프라인에서 검색 품질을 높이거나 무관 청크를 걸러내면 성능이 회복되리라는 기대다. 02 산만 챕터에서 다루는 여러 실증(NoLiMa, RULER, Databricks)도 이 가정 위에서 실험을 설계했다.

2.2 Du et al.이 제기한 반론

그렇다면 다음 실험을 생각해 보자.

  1. 무관 토큰을 공백(whitespace)으로 대체한다. 정보 내용은 사라지지만 토큰 수와 위치는 그대로다.
  2. 무관 토큰을 완전히 마스킹(attention masking)한다. 어텐션 계산 때 모델이 해당 위치를 아예 보지 못하게 막아, 관련 증거 토큰과 질문 토큰에만 어텐션하도록 만든다.

산만이 순수하게 “잘못된 정보의 노이즈” 탓이라면, 무관 정보가 완전히 사라진 이 두 조건에서는 성능이 원래대로 회복돼야 한다.

Du et al.의 핵심 질문: 완벽한 검색을 보장한 상태에서 무관 토큰을 공백이나 마스킹으로 제거해도 성능 저하가 유지된다면, 그것은 컨텍스트 길이 자체가 원인이라는 뜻이 아닌가?

저자들은 이 질문에 답하기 위해 검색 품질을 완벽하게 통제한(perfectly-retrieved evidence) 실험 환경을 설계했다.

3. 실험 설계

3.1 과제 (Tasks)

과제 유형대표 벤치마크설명
수학 추론GSM8K (8단계 이하 산술), Variable Summation (VarSum)산술·변수 누적 합산
질의응답MMLU, RULER QA지식 기반 다지선다 / 장문 QA
코딩HumanEvalPython 함수 완성

Variable Summation은 저자들이 만든 합성 과제(synthetic task)로, 공백·마스킹 실험에 특히 민감하다. 컨텍스트에 숫자 변수가 흩어져 배치되고, 모델은 특정 변수들의 합을 구해야 한다.

3.2 모델 (5개 LLM)

구분모델
오픈소스Llama-3.1-8B-Instruct (128K 컨텍스트 지원), Mistral-v0.3-7B-Instruct (32K 지원)
클로즈드소스GPT-4o, Claude-3.5-Sonnet, Gemini-2.0

3.3 세 가지 산만 조건 (Distraction Conditions)

flowchart LR
    A["증거 토큰<br/>(Evidence)"] --> B["산만 토큰<br/>(Distraction)"]
    B --> C["질문<br/>(Question)"]
    
    subgraph C1["조건 1: 에세이 산만<br/>(Essay Distraction)"]
        D["실제 에세이/문서<br/>(의미 있는 무관 텍스트)"]
    end
    
    subgraph C2["조건 2: 공백 대체<br/>(Whitespace Replacement)"]
        E["공백 토큰만<br/>(정보 내용 없음)"]
    end
    
    subgraph C3["조건 3: 어텐션 마스킹<br/>(Attention Masking)"]
        F["어텐션에서 완전 차단<br/>(모델이 볼 수 없음)"]
    end
  • 조건 1 (Essay): 과제와 무관한 에세이·문서 텍스트를 증거와 질문 사이에 끼워 넣는다. 기존 연구의 표준 설정이다.
  • 조건 2 (Whitespace): 무관 텍스트를 공백 토큰으로 통째로 바꾼다. 정보 노이즈는 제거하되 길이와 위치는 그대로 둔다.
  • 조건 3 (Masking): 무관 위치를 어텐션에서 마스킹해, 모델이 물리적으로 해당 토큰을 볼 수 없게 막는다. 다만 증거 토큰과 질문 토큰 사이의 물리적 거리(distance)는 그대로 유지된다.

산만 토큰의 양은 7,500 / 15,000 / 30,000 토큰의 세 수준으로 두었다.

조건 3까지 적용해도 성능이 떨어진다면, 정보 내용과 무관하게 증거와 질문 사이의 물리적 거리(positional distance) 자체가 원인이라는 뜻이 된다. 이 점이 설계의 핵심이다.

4. 핵심 결과

4.1 에세이 산만 조건 — 예상된 결과

모델과제0 토큰 (기준)7.5K 추가 후 변화30K 추가 후 변화
Llama-3.1-8BVariable Summation96%−59%−85%
Llama-3.1-8BGSM8K87.8%−5.4%−12.3%
Llama-3.1-8BMMLU63.2%−21.4%−24.2%
Llama-3.1-8BHumanEval57.3%−20.1%−47.6%
Mistral-v0.3-7BVariable Summation68%−44%−66%
Mistral-v0.3-7BGSM8K70.6%−27.2%−34.2%
Mistral-v0.3-7BMMLU54.1%−13.9%−20.3%
Mistral-v0.3-7BHumanEval34.8%−17.7%−34.8%
Claude-3.5-SonnetMMLU기준치−41.7% at 7.5K−67.6% at 30K

주: 클로즈드소스 모델(GPT-4o, Gemini-2.0)이 대체로 오픈소스보다 내성이 강했다. Claude-3.5-Sonnet은 MMLU에서 유독 하락 폭이 컸다.

VarSum에서 Llama-3.1의 85% 하락은 극단적인 수치다. 증거 토큰이 컨텍스트 곳곳에 흩어지는 구조라 어텐션 희석에 가장 취약하다.

4.2 공백 대체 조건 — 첫 번째 놀라운 발견

무관 텍스트를 공백으로 바꿨는데도 성능 저하가 그대로 남았다.

“Even with whitespace replacement (no meaningful content), Llama-3 dropped 48% on Variable Summation and 20% on MMLU at 30K whitespace tokens.”

  • Llama-3.1-8B의 VarSum: 30K 공백에서 약 48% 하락
  • Llama-3.1-8B의 MMLU: 30K 공백에서 약 20% 하락

이 결과는 정보 노이즈 가설을 정면으로 반박한다. 공백에는 의미 있는 정보가 전혀 없는데도 성능이 떨어진다. 토큰이 “무엇을 담고 있느냐”가 아니라 “얼마나 많이 있느냐”가 문제라는 뜻이다.

4.3 어텐션 마스킹 조건 — 두 번째, 더 놀라운 발견

무관 위치를 어텐션에서 완전히 차단해 모델이 관련 증거와 질문에만 어텐션하도록 강제했는데도 성능 저하는 여전했다.

모델과제마스킹 30K에서의 하락
Llama-3.1-8BVariable Summation약 50% 하락
Llama-3.1-8BGSM8K약 19.6% 하락
Mistral-v0.3-7BVariable Summation약 34% 하락
Mistral-v0.3-7BGSM8K약 15.1% 하락

“When all distraction tokens were masked and models attended only to evidence and question (separated by masked tokens), performance still declined notably.”

이것이 이 논문의 가장 강력한 발견이다. 모델은 마스킹된 토큰을 물리적으로 볼 수조차 없는데도 성능이 떨어진다. 문제의 원인이 어텐션의 나쁜 정보 처리가 아니라 증거 토큰과 질문 토큰 사이의 물리적 위치 거리(positional distance) 자체라는 뜻이다.

flowchart TD
    A["성능 저하 발생<br/>(에세이 산만)"] --> B{"정보 내용 제거?<br/>(공백 대체)"}
    B --> |성능 저하 유지| C{"어텐션 차단?<br/>(마스킹)"}
    C --> |성능 저하 유지| D["결론: 컨텍스트 길이 자체가 원인<br/>(positional distance)"]
    B --> |만약 성능 회복| E["정보 노이즈 가설 지지<br/>(→ 이 경로는 실험에서 기각됨)"]
    C --> |만약 성능 회복| F["어텐션 정보처리 가설 지지<br/>(→ 이 경로도 실험에서 기각됨)"]
    style D fill:#721c24,color:#fff
    style E fill:#d4edda
    style F fill:#d4edda

4.4 세 조건의 비교 요약

조건정보 내용 제거어텐션 차단성능 저하 여부
에세이 산만✗✗예 (13.9~85%)
공백 대체✓✗예 (유사 수준)
어텐션 마스킹✓✓예 (여전히)

세 조건 모두에서 성능 저하가 남는다는 것은, 정보 내용이나 어텐션 처리 방식을 바꿔도 길이(= 위치 거리) 라는 요인만은 끝내 사라지지 않았다는 뜻이다.

5. 직접 인용 (Quotations)

“Even when models can perfectly retrieve all relevant information, their performance still degrades substantially (13.9%—85%) as input length increases.” — Du et al., 2025, Abstract

“Even with whitespace replacement (no meaningful content), performance degradation persists, confirming that content-based distractions alone cannot explain the problem.” — Du et al., 2025

“Performance degradation persisted even with complete attention masking of distraction tokens, confirming distance between evidence and question alone impairs reasoning.” — Du et al., 2025

“These findings suggest that current training approaches optimizing retrieval and reasoning separately fail to address this integrated failure mode.” — Du et al., 2025

6. 이론적 해석 — 왜 길이 자체가 문제인가?

Du et al.이 제안하는 이론적 설명은 두 층위로 구성된다.

6.1 위치 인코딩 분포 편향 (Positional Distribution Bias)

훈련 데이터에는 단거리 위치 쌍이 장거리 쌍보다 압도적으로 많다. 이 좌편향 빈도 분포 탓에 모델은 멀리 떨어진 두 토큰 사이의 관계를 통합하는 능력을 충분히 익히지 못한 채 훈련된다. 어텐션이 차단돼 해당 위치를 못 보더라도, 위치 인코딩(positional encoding)은 여전히 “이 증거와 질문이 아주 멀리 떨어져 있다”는 정보를 모델에 전달하고, 이것이 추론에 악영향을 준다.

이 해석은 An et al.(2024, 02 산만 섹션 2.3 참조)의 STRING 연구와 정확히 맞닿는다. STRING이 위치 인덱스 시프트만으로 10점 이상 개선을 끌어낸 것은, 위치 거리가 실제로 성능을 좌우하는 핵심 요인임을 독립적으로 뒷받침한다.

6.2 훈련 패러다임의 분리 문제

검색(retrieval)과 추론(reasoning)을 따로 최적화하는 현행 훈련 방식으로는 이 통합적 실패 모드를 풀지 못한다. 모델은 “짧은 텍스트에서 추론하기”와 “긴 텍스트에서 관련 부분 검색하기”를 각각 배우지만, “긴 텍스트에서 멀리 떨어진 증거를 찾아 그것으로 추론하기”라는 통합 능력은 충분히 훈련되지 않는다.

graph TD
    A["훈련 시 학습한 것"] --> B["단문 추론<br/>(short-context reasoning)"]
    A --> C["장문 검색<br/>(long-context retrieval)"]
    D["훈련 시 충분히 학습 못한 것"] --> E["장문 + 원거리 증거 기반 추론<br/>(long-context distant-evidence reasoning)"]
    style E fill:#f8d7da
    style D fill:#f8d7da

7. 처방 — 증거 재인용 (Evidence Recitation)

7.1 방법론

Du et al.이 제안하는 완화 전략은 “Retrieve Then Solve”(증거 재인용) 프롬프팅이다. 장문 컨텍스트 과제를 두 단계로 나눠 처리한다.

  • 1단계: 모델에게 장문 컨텍스트에서 관련 증거를 추출해 그대로 재인용하도록 요청한다.
  • 2단계: 재인용한 짧은 증거 텍스트와 원래 질문을 합쳐, 이제 짧은 컨텍스트 환경에서 문제를 풀도록 요청한다.

핵심은 장문 컨텍스트 문제를 단문 컨텍스트 문제로 바꾸는 것이다. 원거리 증거를 추론 과정에서 힘겹게 통합하는 대신, 먼저 증거를 가까운 곳으로 “옮겨 온” 뒤 추론한다.

7.2 실제 프롬프트 예시

GSM8K 검색 과제에서 사용된 프롬프트의 실제 지시 문구:

“Let’s first recite ’# Problem Description’, ’# Analysis’ and ’# Question’ word by word, and then think and answer in the ’## Answer’ subsection. Your response will be compared to the original question using exact match. When reciting, do not alter the original text.”

유사한 구조가 VarSum과 MMLU에서도 과제별 변형으로 사용됐다.

7.3 효과와 한계

모델과제효과
GPT-4oRULER QA최대 +4% 개선
Mistral-v0.3-7BVarSum (26.25K 토큰)+31.2% 개선

GPT-4o의 4% 개선은 RULER처럼 어려운 벤치마크 기준으로는 의미 있는 수치다. Mistral의 31.2% 개선은 오픈소스 소형 모델에서 이 전략이 얼마나 실용적인지 보여준다.

다만 한계도 뚜렷하다.

  1. 추가 API 호출 비용: 두 단계로 나뉘는 만큼 추론 비용이 늘어난다. 특히 GPT-4o 같은 고가의 클로즈드소스 모델에서는 부담이 크다.
  2. 4%의 실용적 의미: GPT-4o의 최대 4% 개선이 실제 운용 환경에서 충분한지는 의문으로 남는다. 이 논문이 진단한 문제(13.9~85% 하락)의 규모에 견주면, 처방이 문제를 근본적으로 풀지는 못한다. 저자들도 명시적으로 인정하는 한계다.
  3. 긴 컨텍스트에서의 재인용 신뢰도: 재인용 단계에서 모델이 원문을 정확히 재현하지 못하면 도리어 오류가 끼어들 수 있다.
  4. 과제 일반화: 수학·QA·코딩에서는 효과를 보였지만, 다단계 에이전트 추론처럼 구조가 다른 과제에서도 통할지는 아직 확인되지 않았다.

8. 한계 및 논의

8.1 이 연구의 한계

  • 소형 오픈소스 모델 비중: 마스킹 조건은 오픈소스 2개(Llama-3.1-8B, Mistral-7B)에서 가장 상세히 보고됐다. 클로즈드소스 대형 모델(GPT-4o, Claude-3.5, Gemini-2.0)의 마스킹 결과는 상대적으로 간략하다.
  • 메커니즘 규명의 한계: “위치 거리가 원인”이라는 해석은 실험으로 뒷받침되지만, 정확히 어떤 위치에서 어느 레이어의 어텐션 헤드가 실패하는지까지는 이 논문이 다루지 않는다.
  • 합성 과제의 비중: VarSum은 저자들이 만든 합성 과제라, 실제 응용에 일반화되는지는 따로 검증해야 한다.

8.2 “4% 개선”은 충분한가?

이 논문이 진단한 문제 규모(Llama-3.1-8B의 VarSum에서 최대 85% 하락)와 처방의 효과(GPT-4o RULER에서 최대 4% 개선) 사이의 비대칭은 짚고 넘어갈 만한 논점이다.

다만 두 수치는 모델(Llama vs GPT-4o)도 과제(VarSum vs RULER QA)도 다르다. “85% 문제를 4%만 해결했다”는 식의 직접 비교는 공정하지 않으며, 같은 모델에서 측정한 Mistral의 31.2% 개선이 오히려 더 균형 잡힌 기준이다.

그럼에도 증거 재인용이 부분적 완화(partial mitigation) 에 그친다는 점은 저자들도 인정한다. 근본적인 해결은 원거리 증거 통합을 통째로 학습시키는 방향으로 훈련 패러다임을 바꾸는 데 있다는 것이, 이 논문이 은연중에 내놓는 연구 방향이다.

9. 이 논문의 이론적 위치 — 챕터 02에서의 의의

이 논문은 02 산만 챕터에서 다루는 다섯 번째 핵심 메커니즘, 즉 “컨텍스트 길이 자체의 구조적 부담”을 가장 직접적이고 엄밀하게 검증한 실증 연구다.

기존 연구와의 위치 관계

연구기여산만 메커니즘
Liu et al. 2023 (Lost in the Middle)정보 위치가 성능을 가른다위치 편향 (U자형 곡선)
Hsieh et al. 2024 (RULER)광고 길이 vs 실효 길이의 갭복합 과제에서의 성능 붕괴
Modarressi et al. 2025 (NoLiMa)어휘 단서 없으면 더 일찍 붕괴어텐션의 어휘 매칭 의존
An et al. 2024 (STRING)위치 인코딩 편향이 원인좌편향 위치 빈도 분포
Du et al. 2025 (이 논문)마스킹해도 길이 자체가 문제위치 거리의 구조적 부담

Du et al.은 기존 연구들이 간접적으로 시사하던 바를 통제 실험으로 직접 증명했다. “무관 정보를 없애도 길이가 남으면 성능이 떨어진다”는 명제는 이전까지 검증된 적이 없었고, 이 논문이 그 공백을 메운다.

01 오염과의 비교

컨텍스트 오염이 “잘못된 정보가 들어와서 문제”라면, 이 논문은 “옳은 정보만 남겨도 너무 멀리 있으면 문제”임을 보였다. 오염과 산만은 원인이 근본적으로 다르다. RAG 파이프라인에서 검색 정확도를 완벽하게 끌어올려도 장문 컨텍스트 문제가 남는 까닭이 여기에 있다.

실천적 함의 — AX 컨설턴트 관점

  1. “검색 정확도만 높이면 장문 성능이 좋아진다”는 믿음의 한계를 분명히 인식해야 한다. perfect retrieval에도 성능이 떨어진 만큼, RAG 설계에서는 검색 품질뿐 아니라 컨텍스트 배치 방식까지 함께 따져야 한다.

  2. 증거 재인용 프롬프트는 바로 써먹을 수 있는 실용적 완화책이다. 비용과 신뢰도라는 한계는 있지만, 특히 오픈소스 소형 모델에서 효과가 크다. 장문 컨텍스트 RAG에 소형 모델을 쓰는 조합이라면 먼저 적용해 볼 만하다.

  3. 구조적 해결은 컨텍스트 분리 아키텍처다. 장문 컨텍스트를 모델에 통째로 넘기기보다, RAG로 관련 청크만 골라 넣거나 서브에이전트 구조(06 해결전략)로 각 에이전트의 컨텍스트를 짧게 유지하는 편이 Du et al.의 발견에 부합한다.

10. 관련 노트 (위키링크)

참고문헌

그래프 뷰

백링크