상위: 02_00_MOC
한줄 요지
어휘 단서(lexical shortcut)를 제거하면, 128K 이상 컨텍스트를 지원한다는 최신 LLM 13개 가운데 11개가 32K 지점에서 단문 성능의 절반 이하로 무너진다. 어텐션 메커니즘이 표면적 일치 없이 긴 문맥에서 관련 정보를 찾는 데 근본적으로 취약하다는 직접적 증거다.
1. 논문 메타데이터
| 항목 | 내용 |
|---|---|
| 제목 | NoLiMa: Long-Context Evaluation Beyond Literal Matching |
| 저자 | Ali Modarressi, Hanieh Deilamsalehy, Franck Dernoncourt, Trung Bui, Ryan A. Rossi, Seunghyun Yoon, Hinrich Schütze |
| 소속 | Adobe Research, LMU Munich |
| 게재지 | ICML 2025 (42nd International Conference on Machine Learning) |
| 권/페이지 | Volume 267, pp. 44554–44570 |
| arXiv | 2502.05167 (2025-02-07 최초 제출, 2025-07-09 최종) |
| PMLR | proceedings.mlr.press/v267/modarressi25a.html |
| 코드/데이터 | github.com/adobe-research/NoLiMa |
| 라이선스 | CC BY-NC-SA 4.0 |
버전 간 차이: arXiv v1(2025-02-07)은 “12개 모델 평가, 10개가 50% 이하 하락”으로 기재했으나, ICML 최종본에서 “13개 모델, 11개가 50% 이하”로 확장됐다. 인용할 때 버전을 구분해야 한다.
2. 문제의식 — 기존 벤치마크의 어휘 단축로(Lexical Shortcut)
2.1 바닐라 NIAH의 근본적 허점
기존 Needle-In-A-Haystack(NIAH) 벤치마크와 그 파생인 RULER(Hsieh et al., COLM 2024)는 LLM의 장문 컨텍스트 능력을 재는 표준으로 자리잡았다. 그러나 이들은 공통된 구조적 결함을 안고 있다. 질문과 needle(정답 정보) 사이에 높은 표면적 어휘 중복(literal lexical overlap)이 존재한다는 점이다.
논문은 이를 ROUGE precision 점수로 정량화했다:
| 벤치마크 | ROUGE-1 | ROUGE-2 | ROUGE-L |
|---|---|---|---|
| Vanilla NIAH | 0.905 | 0.789 | 0.855 |
| RULER S-NIAH | 0.571 | 0.461 | 0.500 |
| BABILong (0K) | 0.553 | 0.238 | 0.522 |
| NoLiMa | 0.069 | 0.002 | 0.067 |
바닐라 NIAH에서 질문과 needle의 ROUGE-1 중복률은 0.905로, 사실상 같은 단어를 재사용하는 셈이다. 모델이 어텐션 메커니즘을 통해 어휘 단서만으로 정답을 찾을 수 있으니, 정작 추론 능력은 측정하지 못한다.
2.2 실용적 맥락: RAG와 검색 시스템
“In search engines or RAG systems, a relevant document containing the correct answer may have a lexical gap with the query…language models may struggle to extract the correct answer, as they can become distracted by the lexical overlap with these other documents.” — Modarressi et al., 2025
실제 RAG 파이프라인에서 사용자 질의와 정답 문서의 어휘가 어긋나는 일은 흔하다. “베이커리가 어디에 있나요?”라는 질문에 “파리의 몽마르트르 언덕 근처 제과점이 …”라는 needle이 놓여 있다고 하자. NIAH 계열 벤치마크라면 손쉽게 찾아내지만, 실제 응용에서는 그렇지 못하다. NoLiMa는 바로 이 간극을 정밀하게 측정한다.
3. 방법론 — 설계 원칙과 실험 설계
3.1 핵심 설계 원칙: 잠재 연상 추론(Latent Associative Reasoning)
NoLiMa의 핵심 제약은 이렇다. 질문의 핵심 단어(Wₑ, query keyword)와 needle의 핵심 단어(Wₙ, needle keyword)가 표면적으로는 같지 않되, 실세계 지식이나 상식 추론을 거쳐 연결된다.
예시:
- Needle: “Actually, [CHAR] lives next to the Semper Opera House.”
- Question: “Which character has been to Dresden?”
- Association: Semper Opera House → Dresden (실세계 지식 필요)
두 홉(two-hop) 예시:
- Needle: 동일
- Question: “Which character has been to the state of Saxony?”
- Association: Semper Opera House → Dresden → Saxony주 (두 단계 추론)
3.2 연상 유형 분류
카테고리 1: 실세계 지식(Real-World Knowledge)
- 건물·랜드마크 → 도시 (Semper Opera House → Dresden)
- 도시 → 주/지역 (Dresden → Saxony) — 2-hop
- 직업·거주지 → 관련 속성
카테고리 2: 상식 추론(Commonsense Reasoning)
- 식이 제한: “vegan for years” → “cannot eat fish-based meals”
- 음료 제한: 식이 상태 → 음료 불가 연결
- 캐릭터 속성 → 행동/능력 귀결
복잡도 수준:
- One-hop: 직접 연상 (건물 → 도시)
- Two-hop: 간접 연상 (건물 → 도시 → 주)
3.3 벤치마크 구성
- Needle set: 5개 그룹, 각 그룹 2가지 단어 순서 변형(default/inverted) = 총 58개 question-needle 쌍
- Haystack: 오픈 라이선스 도서 10권(각 ≥50K 토큰), 250토큰 이하 스니펫을 무작위 연결
- Needle 배치: 평가 컨텍스트 길이 전반에 걸쳐 26번 균등 배치
- 반복 시험: 컨텍스트 길이당 5개 무작위 haystack = 총 7,540회 테스트
- 평가 범위: <1K ~ 128K 토큰
3.4 필터링 파이프라인: 오염 방지
Stage 1 — Distractor 필터링: Contriever 임베딩으로 질문 키워드와 의미가 비슷한 단어 상위 20개를 찾아, 그 단어가 든 문장을 제거한다. 잘못된 어휘 단서(false lexical cue)가 haystack에 섞이는 것을 막기 위해서다.
Stage 2 — 정답 후보 필터링: Instruction-tuned LLM이 800자(약 250토큰) 청크 단위로 haystack를 훑어 잠재적 오답 후보에 플래그를 달고, 연구자가 수동으로 검토한다.
flowchart LR A["질문(Wₑ)<br/>'Dresden에 간 캐릭터?'"] -->|"실세계 지식<br/>추론"| B["Needle(Wₙ)<br/>'Semper Opera House'"] B -->|"haystack에 매립"| C["모델이 장문 컨텍스트에서 찾기"] C --> D{"어휘 단서<br/>존재 여부"} D -->|"있음<br/>(NIAH 방식)"| E["어텐션이 쉽게<br/>직접 매칭"] D -->|"없음<br/>(NoLiMa 방식)"| F["어텐션이 연상<br/>추론 필요"] F -->|"32K+"| G["성능 급락<br/>(50% 이하)"]
4. 핵심 수치·결과
4.1 주 결과 표 (Table 3 — 13개 모델, ICML 최종본)
| 모델 | 지원 컨텍스트 | 실효 컨텍스트 | Base | 1K | 2K | 4K | 8K | 16K | 32K |
|---|---|---|---|---|---|---|---|---|---|
| GPT-4o | 128K | 8K | 99.3 | 98.1 | 98.0 | 95.7 | 89.2 | 81.6 | 69.7 |
| Llama 3.3 70B | 128K | 2K | 97.3 | 94.2 | 87.4 | 81.5 | 72.1 | 59.5 | 42.7 |
| Llama 3.1 405B | 128K | 2K | 94.7 | 89.0 | 85.0 | 74.5 | 60.1 | 48.4 | 38.0 |
| Llama 3.1 70B | 128K | 2K | 94.5 | 91.0 | 81.8 | 71.2 | 62.7 | 51.8 | 43.2 |
| Gemini 1.5 Pro | 2M | 2K | 92.6 | 86.4 | 82.7 | 75.4 | 63.9 | 55.5 | 48.2 |
| Jamba 1.5 Mini | 256K | <1K | 92.4 | 76.3 | 74.1 | 70.8 | 62.2 | 52.7 | 43.6 |
| Command R+ | 128K | <1K | 90.9 | 77.0 | 73.5 | 66.2 | 39.5 | 21.3 | 7.4 |
| Gemini 2.0 Flash | 1M | 4K | 89.4 | 87.7 | 87.5 | 77.9 | 64.7 | 48.2 | 41.0 |
| Mistral Large 2 | 128K | 2K | 87.9 | 86.1 | 85.5 | 73.3 | 51.4 | 32.6 | 18.8 |
| Claude 3.5 Sonnet | 200K | 4K | 87.5 | 85.4 | 84.0 | 77.6 | 61.7 | 45.7 | 29.8 |
| Gemini 1.5 Flash | 1M | <1K | 84.7 | 68.6 | 61.6 | 51.0 | 44.4 | 35.5 | 28.6 |
| GPT-4o mini | 128K | <1K | 84.8 | 67.7 | 58.2 | 44.2 | 32.6 | 20.6 | 13.7 |
| Llama 3.1 8B | 128K | 1K | 76.7 | 65.7 | 54.4 | 44.1 | 31.9 | 22.6 | 14.2 |
실효 컨텍스트(Effective Context Length) = Base 성능의 85%를 유지하는 최장 컨텍스트
핵심 수치 요약:
- 32K에서 13개 중 11개 모델이 Base 성능의 50% 이하로 하락
- 광고된 컨텍스트 길이 대비 실효 컨텍스트는 대부분 2~8K에 불과 (128K 대비 1.5~6%)
- Command R+의 붕괴가 가장 극적이다: 90.9% → 7.4% (−83.5 pp)
“At 32K, for instance, 11 models drop below 50% of their strong short-length baselines.” — Modarressi et al., 2025
“Even GPT-4o, one of the top-performing exceptions, experiences a reduction from an almost-perfect baseline of 99.3% to 69.7%.” — Modarressi et al., 2025
4.2 확장 평가 — 최신 모델 포함 (Table 10)
| 모델 | 지원 컨텍스트 | 실효 컨텍스트 | Base | 32K | 64K | 128K |
|---|---|---|---|---|---|---|
| GPT-4.1 | 1M | 16K | 97.0 | 79.8 | 69.7 | 64.7 |
| GPT-4o | 128K | 8K | 99.3 | 69.7 | 62.4 | 56.0 |
| Gemini 2.5 Flash | 1M | 2K | 94.4 | 48.4 | — | — |
| Gemini 2.0 Flash | 1M | 4K | 89.4 | 41.0 | 33.0 | 16.4 |
| Llama 4 Maverick | 1M | 2K | 90.1 | 24.5 | — | — |
| Gemma 3 27B | 128K | <1K | 88.6 | 9.5 | — | — |
| Gemma 3 12B | 128K | 1K | 87.4 | 7.3 | — | — |
| Llama 4 Scout | 10M | 1K | 81.7 | 21.6 | — | — |
| GPT-4.1 Mini | 1M | <1K | 80.9 | 38.8 | — | — |
| GPT-4.1 Nano | 1M | <1K | 80.7 | 9.4 | — | — |
| Gemma 3 4B | 128K | <1K | 73.6 | 0.9 | — | — |
논문 주석: “GPT-4.1처럼 최근 모델들은 장문 성능이 개선됐지만, 주요 발견은 동일하게 적용된다 — 광고된 컨텍스트 길이에 비해 비교적 짧은 컨텍스트에서 급격히 하락한다.”
4.3 One-hop vs. Two-hop 비교
One-hop(직접 연상)이 two-hop(간접 연상)보다 줄곧 우세하고, 컨텍스트가 길어질수록 두 과제의 성능 갭이 벌어진다.
GPT-4o 기준:
- One-hop at 32K: 79.8% (Base 99.3%)
- Two-hop at 32K: 57.4% (Base 99.3%)
- 갭: 22.4 pp (단문에서는 거의 없음)
Claude 3.5 Sonnet 기준:
- One-hop at 32K: 45.2%
- Two-hop at 32K: 10.9%
- 갭: 34.3 pp
5. 직접 인용 (Direct Quotes)
“Many existing long-context benchmarks either explicitly or implicitly contain such literal matches…models can exploit existing literal matches between the needle and haystack to simplify the task.” — Modarressi et al., 2025
“Questions and needles contain keywords that are related through associative links, such as real-world knowledge or commonsense facts.” — Modarressi et al., 2025
“In the absence of strong surface-level cues (e.g., literal matches), locating relevant facts becomes challenging for the model, regardless of their position within long contexts.” — Modarressi et al., 2025
“While causal attention should theoretically access all previous tokens, models often rely on surface-level cues in longer contexts.” — Modarressi et al., 2025
“Position encoding does not explain the performance drop. Instead, the main limiting factor is the increased context length.” — Modarressi et al., 2025
“NoLiMa provides a challenging benchmark for evaluating the reasoning capabilities of large language models in long-context settings. By removing literal overlaps between questions and relevant information, the benchmark tests models’ ability to infer and link information within extensive irrelevant content.” — Modarressi et al., 2025
6. CoT 프롬프팅의 효과와 한계
6.1 표준 CoT (Llama 3.3 70B 기준, Table 4)
| 과제 | 4K (w/o CoT) | 4K (w/ CoT) | 개선 | 16K (w/o CoT) | 16K (w/ CoT) | 개선 | 32K (w/o CoT) | 32K (w/ CoT) | 개선 |
|---|---|---|---|---|---|---|---|---|---|
| One-hop | 90.3 | 95.6 | +5.9 pp | 73.2 | 82.6 | +12.8 pp | 56.2 | 60.6 | +7.8 pp |
| Two-hop | 70.7 | 82.4 | +16.5 pp | 42.7 | 56.7 | +32.7 pp | 25.9 | 34.3 | +32.4 pp |
CoT는 특히 two-hop 과제에서 개선 폭이 크다(16K에서 +32.7 pp). 그래도 32K에서 two-hop 성능은 34.3%에 그쳐 여전히 낮다.
6.2 CoT의 근본적 한계
“The challenge with CoT prompting is that the questions in NoLiMa are straightforward. They are mentioning a singular clue to the answer, meaning they cannot be further decomposed into simpler steps…the difficulty lies in reasoning through the association between the question and the needle, which remains a significant challenge for the model.” — Modarressi et al., 2025
CoT가 도움이 되는 까닭은 질문을 잘게 나눠서가 아니라, 모델이 검색 단계(retrieval step)를 명시적으로 밟도록 유도하기 때문으로 보인다. 다만 어텐션이 관련 토큰에 집중하지 못하는 근본 문제까지는 풀지 못한다.
6.3 추론 모델(Reasoning Models) — NoLiMa-Hard 서브셋 (Table 5)
NoLiMa-Hard: 가장 어려운 10개 question-needle 쌍
| 모델 | Base | 4K | 8K | 16K | 32K |
|---|---|---|---|---|---|
| Llama 3.3 70B (w/o CoT) | 98.3 | 55.5 | 37.2 | 16.7 | 8.9 |
| Llama 3.3 70B (w/ CoT) | 97.1 | 73.0 | 51.2 | 31.8 | 10.1 |
| GPT-o1 | 99.9 | 92.0 | 78.0 | 60.1 | 31.1 |
| GPT-o3 Mini | 98.8 | 52.8 | 36.9 | 25.5 | 18.9 |
| DeepSeek R1-DL-70B | 99.9 | 91.4 | 75.5 | 49.4 | 20.7 |
GPT-o1은 4K에서 92.0%로 CoT-Llama(73.0%)를 크게 앞서지만, 32K로 가면 31.1%까지 떨어져 결국 모든 모델이 50% 이하로 수렴한다.
“While reasoning-based models outperform CoT prompting on Llama 3.3, they still fail to achieve full-length generalization on this subset. Across all models, performance drops below the 50% mark at 32K context length.” — Modarressi et al., 2025
7. 원인 분석 — 왜 어텐션이 실패하는가
7.1 어휘 단서 효과의 직접 실증 (Table 6)
Llama 3.3 70B에서 어휘 중복(literal match)을 인위적으로 추가했을 때의 효과:
| 조건 | 8K | 16K | 32K |
|---|---|---|---|
| Direct (높은 어휘 중복) | 98.3 | 98.5 | 98.5 |
| One-hop (어휘 중복 없음) | 84.1 | 73.2 | 56.2 |
| One-hop + Literal Match (MC) | 98.7 | 97.4 | 93.1 |
| Two-hop (어휘 중복 없음) | 57.4 | 42.7 | 25.9 |
| Two-hop + Literal Match (MC) | 96.3 | 94.6 | 87.2 |
어휘 단서를 더해 주는 것만으로 성능이 56.2%에서 93.1%로 회복된다. 모델의 실패가 추론 능력 자체의 부재가 아니라 어텐션이 관련 토큰을 찾는 단계에서 비롯됨을 강하게 시사한다.
7.2 위치 인코딩의 무관성
논문은 “position encoding does not explain the performance drop”이라고 못박는다. RoPE(Rotary Position Embedding)를 쓰는 모델에서 상대 거리가 그대로 유지될 때조차, 컨텍스트 길이가 늘어난다는 사실 하나만으로 성능이 떨어진다. 02_02-메커니즘-어텐션-희석에서 다루는 어텐션 가중치 희석(attention weight dilution) 현상을 직접 확증하는 결과다.
7.3 역전 효과 (Inversion Effect)
Default 템플릿: 질문이 Wₑ → Wₙ 방향으로 attention을 trace 가능. Inverted 템플릿: 역방향 추론 필요, 어텐션이 약한 신호에 의존.
“In the inverted template…the model cannot use that attention to resolve the question. Instead, it must rely on weaker signals.” — Modarressi et al., 2025
graph TD A["컨텍스트 길이 증가"] -->|"어텐션 가중치 희석"| B["표면 어휘 단서 의존 강화"] B -->|"단서 없을 때"| C["관련 토큰 식별 실패"] C --> D["성능 급락"] A -->|"이론적으로"| E["RoPE: 상대 거리 동일"] E -->|"실제"| C style D fill:#ff6b6b,color:#fff style C fill:#ffd93d
7.4 Aligned-Depth 분석
논문은 “depth”(컨텍스트 내 needle 위치)와 “context length”의 효과를 갈라서 분석했다. 성능 곡선은 마지막 2K 구간에서 비교적 안정적이지만, 전체 성능 수준 자체는 컨텍스트 길이에 따라 내려간다. 즉 02_03-메커니즘-위치-편향-u자형의 U자형 위치 편향보다 컨텍스트 총 길이가 더 결정적인 요인이다.
8. NIAH 계열 벤치마크에 대한 시사점
8.1 RULER과의 직접 비교
Llama 3.1 70B를 동일 모델로 비교:
| 벤치마크 | 실효 컨텍스트 길이 |
|---|---|
| BABILong (QA1) | 16K |
| RULER | 32K |
| NoLiMa | 2K |
16배 차이다. RULER에서 좋은 성능을 낸 모델도 NoLiMa에서는 2K에서 벌써 한계에 부딪힌다. “장문 컨텍스트 지원”이라는 주장의 의미가 과제 유형에 따라 얼마나 크게 달라지는지 보여준다.
8.2 벤치마크 회의론의 심화
NoLiMa는 NIAH 계열 벤치마크의 신뢰성을 향한 체계적 회의론을 한층 굳힌다. 흐름을 짚어 보면 이렇다.
- RULER(Hsieh et al., COLM 2024)은 단순화된 NIAH보다 훨씬 낮은 실효 성능을 드러냈다.
- NoLiMa(Modarressi et al., ICML 2025)는 RULER보다도 낮은 실효 성능을 드러냈다.
- 벤치마크가 단순할수록 모델 성능이 과대평가된다는 것을 보여주는 진행형 증거다.
02_06-paper-lost-in-the-middle과 함께, 장문 컨텍스트 벤치마크 설계에서 방법론적 엄밀성이 얼마나 중요한지 보여준다.
9. 한계
9.1 과제 단순성의 역설
NoLiMa의 질문은 일부러 단순하게 만들어 단서가 하나뿐이다. 그래서 CoT로 분해하기가 어렵다. 동시에, 더 복잡한 다단계 추론 시나리오(실제 에이전트 워크플로)의 성능을 이 벤치마크로 외삽하기도 어렵다.
9.2 메커니즘 분석의 한계
“While these findings shed light on the challenge, deeper mechanistic analysis is beyond the scope of this paper and requires further study.” — Modarressi et al., 2025
어텐션이 왜 어휘 단서에 기대는지, 어떤 레이어와 헤드가 결정적인지에 대한 내부 분석은 빠져 있다. 후속 해석가능성 연구의 몫으로 남는다.
9.3 연상 유형의 범위
현재 벤치마크는 실세계 지식과 상식 연상에 집중한다. 수학적 추론, 시간적 추론, 인과 추론처럼 다른 유형의 잠재 연상은 다루지 않는다.
9.4 동적 에이전트 시나리오
NoLiMa는 정적 검색(static retrieval) 시나리오를 평가한다. 에이전트가 단계마다 정보를 생성하며 컨텍스트를 쌓아 가는 동적 시나리오(02_01-정의-컨텍스트-산만)의 실패 패턴은 따로 평가해야 한다.
10. 우리 주제(컨텍스트 산만)에의 시사점
10.1 어휘 단축로의 붕괴가 산만의 촉매
컨텍스트 산만(02_01-정의-컨텍스트-산만)은 “모델이 학습 지식보다 컨텍스트 히스토리에 과도하게 의존”하는 현상으로 정의된다. NoLiMa는 이 메커니즘의 역설을 드러낸다. 어휘 단서가 있을 때는 컨텍스트를 잘 활용하지만(NIAH 99%), 단서가 없으면 컨텍스트에서 관련 정보를 찾지 못해 실패한다. 긴 문맥에서 모델은 표면 신호에 과도하게 의존하며, 이 또한 산만의 한 형태다.
10.2 산만 임계점의 새로운 데이터포인트
02_04-개념-산만-임계점의 모델별 임계점 표에 NoLiMa가 새로운 데이터를 제공한다:
| 모델 | NoLiMa 실효 컨텍스트 | 광고 컨텍스트 | 비율 |
|---|---|---|---|
| GPT-4o | 8K | 128K | 6.3% |
| Claude 3.5 Sonnet | 4K | 200K | 2.0% |
| Llama 3.3 70B | 2K | 128K | 1.6% |
| Command R+ | <1K | 128K | <0.8% |
어휘 단서가 없는 추론 과제에서 실효 컨텍스트는 광고치의 1~6% 수준으로, 02_04-개념-산만-임계점에서 다루는 “광고 대비 50~65%” 추정치보다 훨씬 낮다.
10.3 벤치마크 선택의 중요성
AI 강사·AX 컨설턴트 관점에서 보면, 모델을 고르고 배포를 결정할 때 어떤 벤치마크를 기준으로 삼느냐에 따라 결론이 크게 갈린다. “NIAH 100% 달성”이라는 지표는 실제 RAG 시스템 성능과 상관이 매우 낮을 수 있다.
10.4 실전 프롬프트 설계 원칙
- 중요 정보는 가능하면 질문 키워드와 어휘적으로 연결되도록 작성
- RAG 청크에 질의어와 동의어/관련어를 명시적으로 포함(메타데이터 강화)
- 어휘 갭이 불가피할 때는 증거 재인용(evidence recitation) 프롬프트 활용
graph LR subgraph "기존 평가 체계" A["NIAH<br/>99%+"] --> B["RULER<br/>60~80%"] end subgraph "NoLiMa 이후" B --> C["NoLiMa<br/>7~69%<br/>(실효 2~8K)"] end C -->|"시사점"| D["RAG 시스템 설계 시<br/>어휘 갭 고려 필수"] D --> E["메타데이터 강화<br/>증거 재인용 프롬프트<br/>컨텍스트 관리"] style C fill:#ff6b6b,color:#fff style A fill:#51cf66,color:#fff style B fill:#ffd93d
참고문헌
- NoLiMa: Long-Context Evaluation Beyond Literal Matching — Modarressi, Deilamsalehy, Dernoncourt, Bui, Rossi, Yoon, Schütze, 2025, ICML 2025 (Volume 267, pp. 44554–44570)
- arXiv 2502.05167 — 동일 논문 사전인쇄본, 2025-02-07 초기 제출
- RULER: What’s the Real Context Size of Your LLM? — Hsieh et al., 2024, COLM 2024
- Lost in the Middle: How Language Models Use Long Contexts — Liu et al., 2024, TACL — 관련 노트: 02_06-paper-lost-in-the-middle
- Context Length Alone Hurts LLM Performance Despite Perfect Retrieval — Du et al., 2025, EMNLP 2025 Findings
- NoLiMa GitHub Repository — Adobe Research, 2025