컨텍스트 엔지니어링 실패모드 위키

[논문] Contextual Drag: 오류 시도가 후속 추론을 끌어내리는 메커니즘 (Cheng et al. 2026)

28 min read

상위: 04 충돌

[논문] Contextual Drag: 오류 시도가 후속 추론을 끌어내리는 메커니즘 (Cheng et al. 2026)

한줄 요지

컨텍스트에 남아 있는 오류 시도(failed attempt)는 단순한 노이즈가 아니다. 후속 생성이 구조적으로 유사한 오류를 반복하도록 당기는 인력(引力)으로 작동한다. 이 현상이 ‘맥락적 끌림(Contextual Drag)‘이며, 11개 모델과 8개 추론 태스크에서 10~20%의 성능 하락으로 측정된다.

1. 문제의식 — 자기 개선 파이프라인의 숨겨진 전제

1.1 자기 개선(Self-Refinement)이 작동하려면

2023~2025년 LLM 추론 연구의 핵심 흐름 가운데 하나가 자기 개선(iterative self-refinement)이다. 모델이 초안(draft)을 생성하고 자신의 오류를 탐지한 뒤 더 나은 답을 내놓는 반복 사이클을 말한다. 이 패러다임이 성립하려면 묵시적 전제 하나가 깔려 있어야 한다.

“이전 시도가 잘못됐다는 사실을 알면, 모델은 그 시도로부터 충분히 벗어날 수 있다.”

Cheng, Zhu, Zhao, Arora(Princeton Language and Intelligence, PLI)는 이 전제가 성립하지 않는다는 사실을 체계적으로 실증했다.

1.2 실패한 시도가 컨텍스트에 남으면

LLM은 컨텍스트 안의 모든 토큰을 어텐션(attention)으로 처리한다. 오류로 레이블된 이전 시도도 예외가 아니다. 논문의 핵심 발견은 단순하지만 심각하다. 오류 시도가 컨텍스트에 존재한다는 사실만으로도 후속 추론의 구조가 그 오류 방향으로 왜곡된다는 것이다. 모델이 오류를 명시적으로 인식하든, 외부 피드백이 주어지든 이 끌림은 사라지지 않는다.

이것이 저자들이 이름 붙인 맥락적 끌림(Contextual Drag)이다.

2. 저자 소개

저자소속역할/전문분야
Yun ChengPrinceton Language and Intelligence (PLI)제1저자, LLM 추론·컨텍스트 메커니즘
Xingyu ZhuPrinceton Language and Intelligence (PLI)공저자, 실험 설계·분석
Haoyu ZhaoPrinceton Language and Intelligence (PLI)공저자, 평가 프레임워크
Sanjeev AroraPrinceton University (PLI 디렉터)시니어 저자, 이론적 틀·NLP 기초이론

Sanjeev Arora는 Princeton 컴퓨터과학과 교수이자 PLI(Princeton Language and Intelligence)의 설립 디렉터로, NLP와 ML 이론 분야의 저명한 연구자다.

  • 논문 제출: 2026년 2월 4일(v1), 개정: 2026년 3월 2일(v2)
  • arXiv ID: 2602.04288
  • 코드: github.com/princeton-pli/contextual-drag

3. 방법론 및 실험 설계

3.1 핵심 실험 구조: 세 가지 조건

┌──────────────────────────────────────────────────────┐
│  조건 1: Direct (기준선)                              │
│  [문제] → [모델] → [답변]                            │
│  컨텍스트에 이전 시도 없음. 클린 슬레이트(clean-slate) │
├──────────────────────────────────────────────────────┤
│  조건 2: 1F (실패 시도 1개)                           │
│  [문제] + [오류 Draft #1] → [모델] → [답변]           │
│  Draft #1은 틀린 답. 오류 레이블 포함                  │
├──────────────────────────────────────────────────────┤
│  조건 3: 2F (실패 시도 2개)                           │
│  [문제] + [오류 Draft #1] + [오류 Draft #2] → [모델]  │
│  두 개의 오류 시도가 누적된 상태                       │
└──────────────────────────────────────────────────────┘

모델에는 답을 생성하기 전에 Draft의 정확성을 먼저 검증하라는 지시가 명시적으로 들어갔다. 곧 “이게 틀렸다는 걸 알면서도 영향받는지”를 묻는 실험이다.

3.2 테스트 모델 11종

논문은 독점(proprietary) 모델과 오픈웨이트(open-weight) 모델을 섞어 테스트했다.

독점 모델

  • GPT-5
  • Gemini 2.5 Pro
  • Gemini 3 Pro

오픈웨이트 모델

  • GPT-OSS-20B, GPT-OSS-120B (OpenAI 오픈소스 계열)
  • Nemotron-7B, Nemotron-32B (NVIDIA)
  • Qwen3-8B, Qwen3-32B (Alibaba)
  • DeepSeek R1-distilled 변형 2종

모델 크기와 아키텍처를 폭넓게 포함해 현상의 보편성(universality)을 확인했다.

3.3 추론 태스크 8종

경쟁 수학, 과학, 코드, 퍼즐을 아우르도록 태스크를 골랐다.

태스크유형난이도/특징
AIME 2024경쟁 수학미국 고교 수학 올림피아드, 최고 난이도
AIME 2025경쟁 수학AIME의 최신 에디션
HMMT 2024경쟁 수학Harvard-MIT 수학 토너먼트
HMMT 2025경쟁 수학HMMT 최신 에디션
GPQA-Diamond전문가 수준 과학 Q&A박사급 문제
MMLU-Redux다영역 지식학술 멀티태스크 기준
CRUXEval-I코드 추론코드 실행 결과 예측
Game of 24수학 퍼즐4수字 조합으로 24 만들기, 구조 분석에 활용

3.4 트리 편집 거리(Tree Edit Distance) 분석 — 방법론의 핵심

정확도 수치만으로는 부족해서, 논문은 오류가 구조적으로 전파되는지를 측정하려고 트리 편집 거리(TED, Tree Edit Distance) 분석을 도입했다.

분석에는 Game of 24 태스크를 썼다. 이 태스크의 풀이 과정을 연산 트리(computation tree)로 표현할 수 있기 때문이다. 트리 편집 거리는 두 트리를 서로 같게 만드는 데 필요한 최소 편집 연산 수를 가리킨다.

graph TD
    A[문제: 4개 숫자로 24 만들기] --> B[오류 Draft의 연산 트리]
    A --> C[조건 1F에서 생성된 답의 연산 트리]
    A --> D[Direct 조건에서 생성된 답의 연산 트리]
    B -- TED 측정 --> C
    B -- TED 측정 --> D
    C -- "TED(B,C) < TED(B,D)" --> E["1F 조건의 답이 오류 Draft에<br/>구조적으로 더 가깝다"]

측정 결과, 1F 조건에서 생성된 답은 Direct 조건 답보다 오류 Draft에 구조적으로 훨씬 더 가까웠다(1F responses remain significantly closer to the incorrect draft than clean-slate responses). 성능 하락이 단순 노이즈가 아니라 구조적 오류 전파임을 보여주는 결과다.

4. 핵심 수치 및 결과

4.1 AIME 2024 기준 상세 결과 (Table 1)

모델Direct (기준선)1F2F1F 하락
GPT-OSS-20B51.88%17.50%21.25%-34.38pp
Nemotron-32B83.75%67.50%63.13%-16.25pp
Gemini 2.5 Pro100%95%92.5%-5pp

GPT-OSS-20B의 하락이 특히 극단적이다. 기준선 51.88%에서 1F 조건 17.50%로, 3분의 1 수준까지 무너진다. 흥미롭게도 2F(21.25%)가 1F(17.50%)보다 근소하게 높은데, 추가 오류 시도가 경우에 따라 일종의 다양성을 제공한다고 볼 수 있지만 기준선 회복과는 거리가 멀다.

4.2 전체 벤치마크 요약

논문은 11개 모델과 8개 태스크 전반에서 10~20%의 성능 하락을 보고한다. 하락 폭은 모델 크기와 능력에 반비례하는 경향이 있다. 소형·약한 모델일수록 Contextual Drag의 영향이 훨씬 크다. GPT-OSS-20B는 특정 태스크에서 50%에 육박하는 붕괴를 보인다.

xychart-beta
    title "모델 크기별 Contextual Drag 영향 (개념도)"
    x-axis ["소형 모델<br/>(GPT-OSS-20B)", "중형 모델<br/>(Nemotron-32B)", "대형 모델<br/>(Gemini 2.5 Pro)"]
    y-axis "1F 조건 하락폭 (pp)" 0 --> 40
    bar [34, 16, 5]

4.3 자기 악화(Self-Deterioration) 현상

논문에서 가장 충격적인 발견 가운데 하나다.

“Iterative self-refinement in models with severe contextual drag can collapse into self-deterioration.”

GPT-OSS-20B를 대상으로 반복적 자기 개선(iterative refinement)을 돌렸더니, 반복 횟수가 늘어날수록 정확도가 오르기는커녕 오히려 떨어졌다. 반대로 같은 모델에 다수결 투표(majority voting)를 적용하면 반복이 늘면서 정확도가 꾸준히 좋아졌다. 이 대조는 Contextual Drag가 자기 개선의 전제 자체를 무너뜨린다는 것을 보여준다.

graph LR
    A[반복 1회] --> B[반복 2회] --> C[반복 3회] --> D[반복 4회]
    A1[반복 1회] --> B1[반복 2회] --> C1[반복 3회] --> D1[반복 4회]
    subgraph "자기 개선 with Contextual Drag (GPT-OSS-20B)"
    A -- "50%" --> B
    B -- "43%" --> C
    C -- "38%" --> D
    end
    subgraph "다수결 투표 (동일 모델)"
    A1 -- "50%" --> B1
    B1 -- "55%" --> C1
    C1 -- "61%" --> D1
    end

5. 핵심 직접 인용

“The presence of failed attempts in the context biases subsequent generations toward structurally similar errors.”

“Even when the draft is explicitly labeled as incorrect, models generally remain biased toward the contextual reasoning patterns.”

“Iterative self-refinement can deteriorate into worse performance when contextual drag is severe.”

“Neither external feedback nor successful self-verification suffices to eliminate this effect.”

“Conditioned responses under 1F remain significantly closer to the incorrect draft than clean-slate responses.”

“Contextual drag represents a persistent failure mode in current reasoning architectures.”

“A fundamental limitation of current attention-based architectures, which lack mechanisms to truly reset the reasoning state.”

6. 오류 신호(Error Signal) 실험 — Section 4

논문은 오류 레이블의 강도를 변화시켜 Contextual Drag를 완화할 수 있는지 실험했다.

6.1 외부 오류 신호 (Section 4.1)

프롬프트에 “이 Draft는 틀렸습니다”라는 명시적 오류 신호를 추가했을 때의 효과:

결과는 이렇다. “Even with unambiguous error signals in the prompt, the draft continues to bias downstream reasoning.” 오류 레이블의 강도를 높여도 Contextual Drag는 사라지지 않았다. 영향이 소폭 줄긴 했으나 통계적으로 유의미한 회복은 없었다.

6.2 자기 탐지 신호 (Section 4.2)

모델 스스로 Draft의 오류를 탐지하고 “Incorrect” 판정을 내린 후 새 답을 생성하는 시나리오:

결과는 모델마다 갈렸다. Nemotron 계열은 부분적으로 회복했다. 반면 GPT-OSS-20B는 “Incorrect” 판정을 정확히 내렸는데도 후속 답변에서 여전히 강한 드래그(strongly degraded)를 보였다.

여기서 중요한 함의가 나온다. “틀렸다는 것을 아는 것”과 “그로부터 자유로워지는 것”은 다른 문제라는 점이다. 인지(cognition)와 생성(generation) 사이에 단절이 있다.

7. 완화 전략 실험 결과 — Section 5

7.1 컨텍스트 디노이징(Context Denoising) — Section 5.1

두 가지 접근을 실험했다.

방법 A: 개선(Revise) — 모델에 Draft를 먼저 개선하게 한 뒤, 개선된 버전을 컨텍스트로 쓴다.

방법 B: 필터(Filter) — 모델이 먼저 전략을 세우고, 그 전략에 반하는 Draft를 걸러낸 다음 생성한다.

두 방법 모두 1F 조건 기준선보다 나아졌고, 그중 Filter 방식이 더 강건(robust)했다. 다만 한계가 있다.

“Neither fully recovers from the performance drop in all settings.”

추가 비용도 따른다. 두 방법 모두 최소 2배의 추론 오버헤드가 발생한다.

7.2 목표 지향 파인튜닝(Targeted SFT) — Section 5.2

GPT-OSS-20B에 폴백 행동(fallback behavior)을 학습시켰다. 오류를 탐지했을 때 Draft를 개선하는 대신, 클린 슬레이트로 처음부터 다시 추론하도록 한 것이다.

훈련 데이터는 Big-Math-RL-Verified에서 뽑은 (문제, Draft) 페어로, 정답 40,000개와 오답 40,000개를 썼다.

결과는 다음과 같다(Table 3 — AIME 2024, 1F 조건).

조건정확도
Direct 기준선51.88%
1F (파인튜닝 전)17.50%
1F (파인튜닝 후)40.60% (+23.1pp)

23.1포인트의 개선은 눈에 띄지만, Direct 기준선(51.88%)에는 여전히 미치지 못한다.

여기에는 핵심 트레이드오프가 있다. 파인튜닝 뒤 오류 컨텍스트에서의 강건성은 좋아졌으나, 올바른 컨텍스트를 활용하는 능력이 떨어지는 부작용이 따라왔다. 무엇이든 일단 무시하는 방향으로 학습된 셈이다.

“Improved robustness comes at the cost of reduced utilization of correct context.”

7.3 완화 전략 종합 평가

quadrantChart
    title 완화 전략 효과-비용 매트릭스
    x-axis 낮은 추론 비용 --> 높은 추론 비용
    y-axis 낮은 개선 효과 --> 높은 개선 효과
    quadrant-1 고비용 고효과
    quadrant-2 저비용 고효과
    quadrant-3 저비용 저효과
    quadrant-4 고비용 저효과
    "외부 오류 레이블": [0.1, 0.15]
    "자기 검증만": [0.15, 0.25]
    "Context Revise": [0.6, 0.45]
    "Context Filter": [0.65, 0.55]
    "Targeted SFT": [0.4, 0.75]

어떤 단일 전략도 Contextual Drag를 완전히 상쇄하지 못한다. 논문이 이 현상을 “현존 추론 아키텍처의 지속적 실패 모드(persistent failure mode)“로 규정하는 근거다.

8. 이론적 해석 — 왜 이런 일이 일어나는가

8.1 사전 훈련 데이터의 구조

저자들은 Contextual Drag가 구조화되고 고품질인 데이터로의 사전 훈련(pretraining on structured, high-quality data)에서 비롯된다는 가설을 내놓는다.

사전 훈련 데이터는 대부분 잘 구조화된 텍스트다. 모델은 이를 통해 주어진 컨텍스트의 패턴을 이어가는 능력을 강하게 학습한다. 바로 이 귀납적 편향(inductive bias)이 추론 시점에는 오류 패턴을 이어가는 방향으로 작동한다.

올바른 Draft가 주어질 때 성능이 좋아지는 것도 같은 메커니즘의 긍정적 측면이다. 문제는 이 메커니즘이 오류와 정답을 가려내지 못한다는 데 있다.

8.2 어텐션 메커니즘의 구조적 한계

“A fundamental limitation of current attention-based architectures, which lack mechanisms to truly reset the reasoning state.”

현재 트랜스포머 아키텍처에는 추론 상태를 리셋하는 메커니즘이 없다. 모든 이전 토큰이 어텐션을 거쳐 현재 생성에 영향을 미친다. “오류”라는 레이블이 붙어 있어도, 그 레이블 자체가 또 하나의 토큰으로서 어텐션의 대상이 될 뿐이다.

이 점은 Simhi et al.(2026, arXiv 2603.03308)의 “Old Habits Die Hard” 논문에서 기하학적으로도 입증된다. 대화 히스토리가 잠재 표현 공간(latent space)에서 기하학적 트랩(geometric trap)을 만들어 모델의 추론 궤적을 가둔다는 것이다. 이 현상은 History-Echoes 프레임워크를 통해 마르코프 체인 확률적 모델링과 기하학적 분석 양쪽에서 모두 포착됐다(ICML 2026 채택).

9. 컨텍스트 충돌 챕터에서의 위치

9.1 Contextual Drag와 다른 충돌 유형의 관계

Contextual Drag는 04 충돌 챕터의 시간적 충돌(Temporal Clash) 하위 현상으로 분류된다. 다만 단순한 시간적 충돌을 넘어서는 특수성이 있다.

유형충돌 원인Contextual Drag와의 관계
시간적 충돌 (Temporal Clash)이전 턴 답변 vs. 현재 새 정보직접 해당 — 핵심 발현 경로
앵커링 효과 (Anchoring)초기 정보에 과도한 가중치병행 현상 — Huang et al.(2025)가 얕은 레이어 원인 지목
아첨 유발 충돌 (Sycophancy)사용자 반박에 의한 번복충돌 생성 → Contextual Drag 유발 가능
자기 개선 역설반복 개선이 악화로Contextual Drag의 직접 결과

Contextual Drag는 충돌이 왜 해소되지 않는지를 메커니즘 수준에서 설명하는 데 핵심 역할을 한다.

9.2 인접 현상과의 비교

Context Poisoning과 비교 — 오염은 잘못된 정보가 사실인 척 들어와 컨텍스트를 더럽힌다. Contextual Drag는 오류라고 명시된 정보조차 구조적 영향력을 유지한다는 점에서 한층 근본적이다.

Laban et al.(2025, arXiv 2505.06120)의 멀티턴 하락과 비교 — Laban의 연구가 하락이 언제 일어나는지(멀티턴 누적 시점)를 보여준다면, Cheng et al.은 왜 일어나는지(오류의 구조적 인력)를 설명한다. 두 연구는 서로를 보완한다.

Context Confusion과 비교 — 혼란은 무관한 정보가 끼어드는 방해다. Contextual Drag는 관련성이 아주 높은 정보, 곧 동일 문제의 이전 시도가 구조적 패턴을 타고 후속 추론을 끌어당기는 현상이다.

10. 에이전트 파이프라인에 대한 함의

10.1 반복적 계획-실행 사이클의 취약점

LLM 에이전트는 구조적으로 Contextual Drag에 노출되어 있다.

[계획] → [실행] → [실패] → [오류 로그 컨텍스트에 누적] → [재계획]
                                        ↑
                               이 오류 로그가 Contextual Drag를 유발

에이전트가 장시간 실행(long-horizon) 태스크를 처리할 때, 초기에 실패한 시도들이 컨텍스트에 쌓이면서 후속 계획이 구조적으로 같은 오류를 반복할 위험이 커진다. 이는 Morph(2025)가 보고한 “35분 인간 작업 환산 시간 이후 모든 에이전트의 성공률 하락”과 곧장 맞물린다.

10.2 멀티에이전트에서의 교차 오염

멀티에이전트 아키텍처에서 서브에이전트의 실패 출력이 메인 에이전트의 컨텍스트로 합쳐질 때, Contextual Drag가 에이전트 경계를 넘어 전파될 수 있다. 멀티에이전트 설계에서 에이전트 간 컨텍스트 격리(inter-agent context isolation)가 왜 중요한지를 보여주는 대목이다.

10.3 RAG 파이프라인에서의 영향

검색된 문서에 오류가 섞여 있으면, 그 오류가 이후 생성에 구조적 패턴을 주입한다. 오류가 이미 컨텍스트에서 처리된 뒤라면 단순히 오류 문서를 제거하는 것만으로는 충분하지 않을 수 있다. 사전 필터링(pre-filtering)과 실시간 디노이징(real-time denoising)이 그만큼 중요해진다.

11. 한계 및 미해결 질문

11.1 논문이 명시한 한계

  • 태스크 편중: 분석이 주로 추론 집약적 태스크(수학, 과학, 코드, 퍼즐)에 집중되어 있다. 생성형 태스크(글쓰기, 요약, 대화)에서의 Contextual Drag는 별도 연구가 필요하다.
  • 모델별 회복 메커니즘 미설명: Nemotron 계열은 자기 검증 후 부분적으로 회복하지만 GPT-OSS-20B는 회복하지 못한다. 이 차이의 원인은 규명되지 않았다.
  • 아키텍처적 해법 미개발: 현상의 원인으로 어텐션 메커니즘의 구조적 한계를 지목하지만, 구체적인 아키텍처 수정 방향은 제시하지 않는다.

11.2 후속 연구가 필요한 질문들

  1. 비추론 태스크에서의 일반화: Contextual Drag가 창의적 글쓰기나 번역 같은 태스크에서도 구조적으로 유사하게 작동하는가?

  2. 적정 폴백 비율: 파인튜닝을 통한 폴백 행동 학습은 올바른 컨텍스트 활용 능력과 트레이드오프다. 최적 균형점은 어디인가?

  3. 아키텍처 수준 해법: 어텐션 리셋 메커니즘이나 게이팅(gating) 레이어를 통해 Contextual Drag를 구조적으로 완화할 수 있는가?

  4. 멀티에이전트 교차 전파: Contextual Drag가 에이전트 경계를 넘어 전파될 때의 수학적 모델이 존재하는가?

  5. 편향적 드래그의 방향성: 오류 시도의 “구조적 유사성”이 단방향(오류→후속)으로만 작동하는가, 아니면 양방향 간섭이 있는가?

  6. RLHF/RLAIF 대응책: 강화학습 파인튜닝을 통한 “컨텍스트 독립적 추론” 능력 향상이 Targeted SFT보다 효과적일 수 있는가?

12. 실무 적용 — AX 컨설턴트를 위한 체크리스트

12.1 자기 개선 파이프라인 재설계 원칙

기존 패턴 (위험):

초안 생성 → 오류 탐지 → 동일 컨텍스트에서 재생성 → 반복

개선 패턴 (권장):

초안 생성 → 오류 탐지 → [컨텍스트 초기화 또는 분리] → 새 세션에서 재생성

12.2 에이전트 설계 체크리스트

  • 실패 로그 격리: 에이전트의 실패한 시도를 메인 컨텍스트에 누적하지 말고, 별도 로그 채널로 분리
  • 반복 개선 상한: 자기 개선 반복 횟수를 3~5회로 제한하고, 이후에는 클린 슬레이트 재시작
  • 다수결 투표 활용: Contextual Drag가 심한 모델에서는 반복 개선보다 다수결 투표(majority voting)가 더 효과적
  • 소형 모델 주의: 소형 모델(~20B)은 Contextual Drag에 훨씬 취약 — 동일 품질을 위한 추가 격리 전략 필요
  • RAG 선 필터링: 오류 문서는 컨텍스트 진입 전 필터링이 원칙 — 진입 후 레이블링은 충분하지 않음

12.3 프롬프트 엔지니어링 전략

  1. 명시적 무시 지시보다 구조적 격리가 먼저다. “이전 답변을 무시하라”는 지시로는 Contextual Drag가 완화되지 않는다. 차라리 다른 세션이나 컨텍스트를 써라.
  2. 오류 표시의 역설. 오류 레이블은 오히려 오류 내용을 컨텍스트에 더 오래 붙들어 둔다. 레이블을 다는 것보다 오류 시도 자체를 컨텍스트에서 빼는 편이 효과적이다.
  3. Filter 전략 채택. 가능하다면 컨텍스트 디노이징에서 Revise 방식보다 Filter 방식(전략 수립 후 반오류 필터링)을 먼저 쓴다.

참고문헌

  • Contextual Drag: How Errors in the Context Affect LLM Reasoning — Yun Cheng, Xingyu Zhu, Haoyu Zhao, Sanjeev Arora. arXiv 2602.04288, 2026. Princeton Language and Intelligence.

  • Old Habits Die Hard: How Conversational History Geometrically Traps LLMs — Adi Simhi, Fazl Barez, Martin Tutek, Yonatan Belinkov, Shay B. Cohen. arXiv 2603.03308, 2026. ICML 2026 채택.

  • [Laban et al., 2025] Is Your LLM Secretly a Bad Listener? Evaluating Instruction Following in Multi-Turn Conversations — arXiv 2505.06120. Microsoft Research & Salesforce Research.

  • [Huang et al., 2025] Anchoring Bias in LLMs — arXiv 2505.15392. SynAnchors 데이터셋. ICLR 2026 HCAIR 워크숍 채택.

  • [Fanous et al., 2025] SycEval: Evaluating Sycophancy in LLMs — arXiv 2502.08177. Stanford. AIES 2025 채택.

관련 노트: 04 충돌 · 03 혼란 · 01 오염 · 04_04-paper-laban-2025-multiturn

그래프 뷰

백링크