컨텍스트 엔지니어링 실패모드 위키

[논문] NoLiMa — 어휘 매칭 없는 장문 컨텍스트 평가 (Modarressi et al., ICML 2025)

17 min read

상위: 05_00_MOC

한줄 요지

NoLiMa(Non-Literal Matching)는 NIAH·RULER 같은 기존 벤치마크가 질문과 니들 사이의 어휘적 중복(literal match)에 암묵적으로 기대고 있음을 실증하고, 연상(associative) 관계만으로 니들을 찾게 하는 새로운 평가 틀을 제시한다. 13개 모델을 테스트하자 그중 11개가 32K 토큰 지점에서 단거리 기준 성능의 50% 아래로 떨어졌다.

1. 문제의식 — “장문 컨텍스트는 해결됐다”는 오해

1.1 기존 벤치마크의 허점

GPT-4o, Gemini 1.5 Pro 같은 현세대 모델이 Needle in a Haystack(NIAH) 벤치마크에서 거의 만점을 받자, 업계에는 “장문 컨텍스트 처리는 이미 해결된 문제”라는 인식이 퍼졌다. NoLiMa 저자들은 이 인식이 벤치마크 설계 결함에서 비롯된 착시라고 지적한다.

문제의 핵심은 이렇다. 기존 벤치마크의 질문(query, Wq)과 니들(needle, Wp)이 어휘 수준에서 거의 같은 단어를 공유한다. 그래서 모델이 문서를 실제로 이해하지 않아도, 표면적인 단어 매칭(induction head 기반 literal matching)만으로 정답에 닿을 수 있다.

1.2 ROUGE R-1로 측정한 리터럴 매칭 의존도 (Table 1)

벤치마크ROUGE R-1 (질문↔니들 어휘 중복)
Vanilla NIAH0.905
RULER S-NIAH0.571
BABILong0.553
NoLiMa0.069

NoLiMa의 ROUGE R-1 0.069는 질문과 니들 사이에 공통 어휘가 사실상 없다는 뜻이다. 이 수치 하나만으로도, 기존 벤치마크가 측정해온 것이 진짜 장문 이해력이 아니었음이 드러난다.

“Long-context benchmarks feature tasks where the queried input (e.g., a question or a task) has literal matches with the provided context. This allows models to exploit surface-level matching rather than genuine reasoning.” — Modarressi et al., 2025

1.3 실제 응용과의 괴리

에이전트 작업, 대화 이력 활용, 멀티문서 요약처럼 실제 프로덕션 환경에서는 질문과 관련 정보 사이에 어휘적 중복이 거의 없는 경우가 흔하다. 사용자가 “이 계약서의 법적 리스크는?”이라고 물어도, 계약서 본문 어디에도 “법적 리스크”라는 단어는 나오지 않는다. NoLiMa는 이렇게 비어휘적 추론(non-literal reasoning)이 필요한 현실 시나리오를 벤치마크 설계의 중심에 둔다.

2. 방법론 — 연상적 QA 쌍 설계

NoLiMa의 설계 원리는 질문 키워드(Wq)와 니들 키워드(Wp)를 오직 연상(associative) 관계로만 잇도록 강제하는 데 있다. 직접적인 어휘 중복 없이, 실세계 지식이나 상식적 사실을 매개로만 연결되게 한 것이다.

예시 (single-hop):

  • 니들: “Actually, [CHAR]는 Semper Opera House 옆에 산다.”
  • 질문: “[CHAR]는 어느 도시에 사나?”
  • 연상 경로: Semper Opera House → Dresden (지식 기반 추론)
  • 질문에 “Dresden”, “Semper”라는 단어 없음. 니들에 “Dresden” 없음.

예시 (two-hop):

  • 연상 경로 2단계: Saxony → Dresden → Semper Opera House
  • 추론 깊이가 깊어질수록 장문 컨텍스트에서의 성능 하락도 더 가팔라진다.

2.2 데이터셋 구성

  • 총 58개 질문-니들 쌍(QA pair)
  • 5개 그룹, 각 그룹마다 default/inverted 변형 포함
  • 테스트 총 실행 수 7,540건 (5개 haystack × 58쌍 × 26개 배치 위치 × 길이별)
  • 컨텍스트 길이 구간: 1K, 2K, 4K, 8K, 16K, 32K 토큰

2.3 Effective Context Length 정의

모델의 effective context length는 base score의 85% 이상을 유지하는 가장 긴 컨텍스트 길이로 정의한다. 여기서 base score는 250, 500, 1K 토큰 조건에서의 최대 성능이다.

graph LR
    A["base score<br/>(250~1K 토큰)"] --> B["85% 기준선 설정"]
    B --> C["각 컨텍스트 길이에서<br/>정확도 측정"]
    C --> D["85% 이상 유지하는<br/>최장 길이 = effective length"]

3. 핵심 수치 및 결과

3.1 Table 3: 13개 모델 base → 32K 성능 추이

모델Base 정확도32K 정확도50% 미만?
GPT-4o99.3%69.7%유지 (유일)
Llama 3.3 70B97.3%42.7%하락
Llama 3.1 405B94.7%38.0%하락
Llama 3.1 70B94.5%43.2%하락
Gemini 1.5 Pro92.6%48.2%하락
Jamba 1.5 Mini92.4%43.6%하락
Command R+90.9%7.4%하락 (최대)
Gemini 2.0 Flash89.4%41.0%하락
Mistral Large 287.9%18.8%하락
Claude 3.5 Sonnet87.5%29.8%하락
Gemini 1.5 Flash84.7%28.6%하락
GPT-4o mini84.8%13.7%하락
Llama 3.1 8B76.7%14.2%하락

정리하면, 13개 모델 중 11개(84.6%)가 32K에서 base score의 50% 이하로 추락했다. 50% 이상을 지킨 모델은 GPT-4o 하나뿐인데, 그마저도 99.3%에서 69.7%로 30p 가까이 떨어졌다.

3.2 Appendix E: 최신 모델 확장 평가

모델Base32K64K128KEffective Length
GPT-4.1 (1M 지원 주장)97.0%79.8%69.7%64.7%~16K
Gemini 2.0 Flash89.4%41.0%33.0%16.4%—

GPT-4.1은 제조사가 1,000,000 토큰 컨텍스트를 지원한다고 내세우지만, NoLiMa 기준 effective length는 약 16K에 그친다. 광고된 컨텍스트 창과 실제로 믿고 쓸 수 있는 길이 사이의 간극이 60배를 넘는 셈이다.

4. Distractor 실험 — 어휘 노이즈 1개의 충격

4.1 실험 설계 (Table 3 / Figure 5)

질문 키워드(Wq)와 어휘적으로 겹치는 무관한 문장(distracting sentence) 한 개를 haystack에 끼워 넣는다. 이 문장은 실제 답과는 상관없지만, 표면적으로는 질문에 나온 단어를 담고 있다.

4.2 결과: GPT-4o effective length 8K → 1K

디스트랙터 없음:  GPT-4o effective length = 8K
디스트랙터 1개:   GPT-4o effective length = 1K  (→ 87.5% 감소)

“GPT-4o now demonstrates an effective length of just 1K” compared to 8K without distractors.

이 결과는 모델이 의미적 추론을 하기보다 어휘적 단서에 지나치게 의존한다는 사실을 드러낸다. 어휘가 겹치는 문장이 단 한 개 있다는 것만으로, 모델이 믿고 처리할 수 있는 범위가 8배나 줄어든다.

이 현상은 02 산만 챕터에서 다루는 Shi et al.(2023, ICML)의 GSM-IC 발견을 장문 컨텍스트 환경에서 재현·확장한다.

5. CoT (Chain-of-Thought) 실험

5.1 결과: 개선되나 완전 극복 불가 (Table 4, Llama 3.3 70B 기준)

조건16K (개선폭)32K (개선폭)
One-hop + CoT+12.8%p+7.8%p
Two-hop + CoT+32.7%p+32.4%p

CoT에서는 눈에 띄는 패턴이 둘 나타난다. 하나는 Two-hop에서 효과가 더 크다는 점인데, 단계적 추론을 명시적으로 유도하는 CoT가 multi-hop 연상에 특히 잘 듣는다. 다른 하나는 그럼에도 16K 이상에서는 한계를 완전히 넘지 못한다는 점이다. 길이가 늘수록 CoT의 개선폭이 줄거나, 절대 성능 자체가 여전히 낮은 수준에 머문다.

5.2 NoLiMa-Hard: 추론 모델도 한계 (Table 5)

모델Base32K
GPT-o199.9%31.1%

추론 특화 모델인 GPT-o1조차 NoLiMa-Hard 32K 조건에서 31.1%에 그쳤다. extended thinking 방식이 아직은 장문 컨텍스트의 비어휘적 검색 문제를 근본적으로 풀어내지 못한다는 신호다.

6. 직접 인용

“Our analysis suggests these declines stem from the increased difficulty the attention mechanism faces in longer contexts when literal matches are absent, making it harder to retrieve relevant information.” — Modarressi et al., NoLiMa (2025)

“Without surface cues, longer contexts overwhelm the attention mechanism.” — Modarressi et al., NoLiMa (2025)

“Long-context benchmarks feature tasks where the queried input has literal matches with the provided context. This allows models to exploit surface-level matching rather than genuine reasoning.” — Modarressi et al., NoLiMa (2025)

7. 메커니즘: 왜 어휘 단서가 없으면 무너지는가

flowchart TD
    A["짧은 컨텍스트 (1K~4K)"] --> B["어텐션 헤드:<br/>의미적 연상도 포착 가능"]
    B --> C["높은 정확도 (base score)"]

    D["긴 컨텍스트 (16K~128K)"] --> E["어텐션 분산:<br/>신호 희석"]
    E --> F{"literal match 존재?"}
    F -- "YES" --> G["induction head 기반<br/>표면 매칭 → 정답"]
    F -- "NO (NoLiMa)" --> H["의미적 연상 신호가<br/>haystack 노이즈에 묻힘"]
    H --> I["성능 급락"]

핵심 메커니즘 (Olsson et al., 2022, ‘In-context learning and induction heads’ 참조). Transformer의 어텐션 헤드, 그중에서도 induction head는 표면적인 반복 패턴(literal match)을 잡아내는 데 특화되어 있다. 어휘 중복이 없으면 이 기제가 작동하지 않고, 의미적 연상이 필요한 긴 컨텍스트에서는 신호가 희석된다(dilution).

8. 한계 및 미해결 문제

8.1 논문이 인정하는 한계

  1. 데이터셋 규모: 58개 QA 쌍으로는 포괄적 평가에 충분하지 않을 수 있어, 여러 도메인과 언어로 넓혀갈 필요가 있다.
  2. haystack 텍스트 제한: 특정 장르·도메인의 haystack만 썼고, 코드나 대화, 멀티도큐멘트 같은 형태는 빠져 있다.
  3. QA 유형 다양성: 통계적 유의성은 반복 측정(5개 haystack, 26개 배치)으로 보완했지만, 질문 유형 자체의 다양성은 여전히 제한적이다.

8.2 우리 주제에서 보이는 한계

  • CoT의 부분적 효과: Two-hop에서 CoT가 +32p 개선을 내지만, 그렇다고 16K 이상에서 50% 이상의 신뢰도가 보장되지는 않는다.
  • 모델 업데이트 추적: GPT-4.1, Gemini 2.5 같은 더 최신 모델의 개선 여부는 Appendix E에만 담겨 있고 주 실험에는 빠져 있다.
  • RULER R-1 수치: 0.809라는 값은 Table 1의 실제 S-NIAH 값(0.571)과 다르다. 0.809는 다른 RULER 서브태스크의 평균이거나 별도 측정치일 수 있으며, 논문 원문 Table 1 기준 RULER S-NIAH는 0.571이다.

9. 우리 주제 (컨텍스트 부패)에의 시사점

NoLiMa는 05 부패의 핵심 기제를 수치로 보여주는 가장 직접적인 증거다.

9.1 “컨텍스트 창 = 실제 사용 가능 길이”라는 신화 파괴

모델주장 컨텍스트 창NoLiMa Effective Length간극
GPT-4.11,000,000 토큰~16,000 토큰~62.5배
Gemini 2.0 Flash128,000 토큰16.4% 잔존 (128K)실질 붕괴

제조사가 말하는 “지원 컨텍스트 창”은 토큰을 물리적으로 처리할 수 있는 상한치일 뿐, 믿고 추론을 맡길 수 있는 범위는 아니다.

9.2 벤치마크 리터러시의 필요성

AI 강사이자 AX 컨설턴트 관점에서 새겨둘 교훈이 있다. NIAH 만점은 장문 이해력의 증거가 못 된다. 그러니 고객사에 모델을 권고할 때는 어떤 벤치마크를 기준으로 삼았는지 반드시 밝혀야 한다.

벤치마크 신뢰도 등급 (노이즈→실제 순):

NIAH (R-1: 0.905) → RULER S-NIAH (0.571) → BABILong (0.553) → NoLiMa (0.069)

9.3 실무 대응 원칙

NoLiMa 실험이 직접 뒷받침하는 실무 원칙은 다음과 같다.

  1. 집중 입력(focused input): 불필요한 문서와 대화 이력을 걷어내라. 어휘 노이즈 한 개만으로도 effective length가 8K에서 1K로 줄어든다.
  2. 디스트랙터 배제: 주제는 비슷하지만 정확하지 않은 문서를 RAG 결과에서 적극적으로 걸러낸다.
  3. CoT의 전략적 활용: Two-hop 추론에 특히 잘 듣지만, 16K 이상의 장문에서는 완전한 해결책이 못 된다.
  4. 위치 설계: 관련 정보를 컨텍스트 앞쪽이나 끝에 배치한다 (02_03-메커니즘-위치-편향-u자형 참조, Liu et al. 2023의 U자형 곡선).
  5. 증거 암송(evidence recitation): 모델에게 관련 증거를 먼저 암송하게 한 뒤 답을 내게 하면 장문 성능이 좋아질 수 있다 (Du et al., 2025).

9.4 연관 실패모드와의 관계

graph TD
    A["컨텍스트 부패<br/>(Context Rot)"] --> B["NoLiMa 증명:<br/>길이 증가 → 비어휘적 검색 실패"]
    A --> C["Distractor 증폭:<br/>어휘 노이즈 1개로 effective length 87% 감소"]
    B --> D["근본 원인:<br/>어텐션 메커니즘의 literal match 의존"]
    C --> E["[[02_00_MOC|02 산만]]와 교차:<br/>Shi et al. 2023 GSM-IC 재현"]
    D --> F["[[02_02-메커니즘-어텐션-희석]]<br/>어텐션 희석 메커니즘"]

10. 관련 벤치마크 맥락 속에서의 위치

벤치마크ROUGE R-1강점한계
Vanilla NIAH0.905단순, 직관적리터럴 매칭 의존, 포화 상태
RULER0.57113개 서브태스크, 멀티홉 포함여전히 어휘 중복
BABILong0.553합성 데이터 명확자연어 다양성 부족
NoLiMa0.069비어휘적 추론 강제58쌍, 도메인 제한
HELMET—7개 응용 카테고리, 실용성NoLiMa보다 복합적 평가
LongMemEval—장기 대화 기억, 실제 사용 시나리오상업 모델 중심

2025년 기준으로 NoLiMa는 리터럴 매칭에 기대지 않는 장문 컨텍스트 벤치마크 가운데 가장 엄격한 표준이다.

참고문헌

그래프 뷰

백링크