컨텍스트 엔지니어링 실패모드 위키

컨텍스트 충돌이 발생하는 5가지 인과 경로

28 min read

상위: 04_00_MOC

컨텍스트 충돌이 발생하는 5가지 인과 경로

컨텍스트 충돌(04 충돌)은 단일 원인에서 비롯되지 않는다. 여러 구조적 인과 경로(causal pathway)가 제각기 독립적으로, 때로는 서로 얽혀 충돌을 만들어낸다. 이 노트는 지금까지 실증된 다섯 가지 주요 경로를 인과 흐름으로 해부하고, 각 경로를 뒷받침하는 논문과 수치를 정리한다.

개요 — 왜 경로를 구분하는가

충돌의 증상은 어느 경로든 똑같다. 모델이 컨텍스트 안의 모순을 해소하지 못하고 답변 품질이 떨어진다. 그러나 원인 경로가 다르면 대처법도 달라진다.

  • 섣부른 답변 누적(경로 1)이 원인이면 → 컨텍스트 격리나 롤백
  • 아첨에 따른 자가 생성(경로 2)이 원인이면 → 지시 계층 훈련, 사전 리버탈
  • Contextual Drag(경로 3)이 원인이면 → 오류 시도 자체를 컨텍스트에서 제거
  • 위치 편향(경로 4)이 원인이면 → 올바른 정보의 배치 위치 재설계
  • 출처 간 충돌(경로 5)이 원인이면 → 다중 에이전트 명시적 해소

경로를 모르면 처방도 없다.

flowchart TD
    A[컨텍스트 충돌 발생] --> P1[경로 1: 섣부른 답변 + 앵커링]
    A --> P2[경로 2: 아첨 → 자가 생성 충돌]
    A --> P3[경로 3: Contextual Drag]
    A --> P4[경로 4: 위치 편향]
    A --> P5[경로 5: 출처 간 충돌]
    P1 -- "복합 작용" --> P3
    P2 -- "복합 작용" --> P4
    P1 -.->|"앵커링이 Drag 강화"| P3

경로 1: 섣부른 답변 → 앵커링 누적 (Temporal Clash)

인과 흐름

LLM은 정보가 불완전한 상태에서도 일단 최종 답변을 시도하곤 한다. 이 잠정 답변이 컨텍스트에 기록되고 나면, 이후 턴에서 올바른 정보가 들어와도 모델은 처음 내놓은 답변에 과도하게 매달린다(over-rely). 그 결과 컨텍스트 안에는 “초기 잠정 답변”과 “후속 올바른 정보”가 모순 관계로 나란히 남는다.

sequenceDiagram
    participant U as 사용자
    participant M as LLM
    participant C as 컨텍스트

    U->>M: 턴 1: 불완전한 정보 제공
    M->>C: 잠정 답변 A 기록
    U->>M: 턴 2: 추가 정보 (A와 모순)
    C-->>M: 앵커링: A에 과다 가중치
    M->>U: 충돌 해소 실패 → 오답 또는 혼합 답변

실증: Laban et al. (2025)

Philippe Laban, Hiroaki Hayashi, Yingbo Zhou, Jennifer Neville의 대규모 실험(arXiv 2505.06120)이 이 경로를 가장 직접적으로 보여준다. 연구팀이 고안한 것은 샤딩 실험(sharding experiment)이다. 단일턴에서라면 완전히 명세됐을 지시를 여러 턴에 나누어 전달했을 때(샤딩) 성능이 어떻게 달라지는지 측정한 것이다.

“LLMs often make assumptions in early turns and prematurely attempt to generate final solutions, on which they overly rely.”

“when LLMs take a wrong turn in a conversation, they get lost and do not recover.”

실험 규모:

  • 모델 15종 (8B~300B+ 파라미터)
  • 6개 생성 태스크
  • 200,000건 이상 시뮬레이션 대화
  • 지시당 10회 반복 실행(분산 측정)

모델별 단일턴 대 멀티턴 성능(전체 태스크 평균):

모델단일턴(Full)멀티턴(Sharded)절대 하락
o386.4%53.0%-33.4pp
GPT-4.196.6%72.6%-24.0pp
Gemini 2.5 Pro97.4%68.1%-29.3pp
Gemini 2.5 Flash97.0%68.3%-28.7pp
Claude 3.7 Sonnet78.0%65.6%-12.4pp
전체 평균~90%~65%-25pp (상대 39%)

눈여겨볼 대목은 신뢰성 붕괴(Unreliability)다. 연구팀은 성능 하락을 두 성분으로 나눴다.

  • Aptitude(A⁹⁰): 90번째 백분위수 성능, 곧 최선 시나리오. 평균 16% 하락.
  • Unreliability(U): 90번째와 10번째 백분위수 사이의 격차. 평균 112% 증가로, 두 배 이상 벌어졌다.

평균 성능만 나빠지는 게 아니다. 어떤 때는 잘 풀리고 어떤 때는 완전히 실패하는 예측 불가능성이 폭발적으로 커진다는 뜻이다. 멀티턴에서 최선과 최악 시나리오의 격차는 평균 50포인트에 이른다.

앵커링 메커니즘의 심층 구조: Huang et al. (2025)

왜 초기 답변이 그토록 강하게 들러붙는가? Yiming Huang et al.(arXiv 2505.15392)는 합성 데이터셋 SynAnchors로 이를 분석했다. 결론은, 앵커링 편향이 모델의 얕은 계산 레이어(shallow layers)에서 발생하며 “conventional strategies”로는 제거되지 않는다는 것이다.

“LLMs’ anchoring bias exists commonly with shallow-layer acting.”

함의가 묵직하다. 추론 과정(chain-of-thought)이 편향을 어느 정도 누그러뜨리긴 하지만, 현재의 파인튜닝 방식으로는 뿌리째 없애지 못한다. 앵커링 편향은 아키텍처 수준의 문제인 셈이다. 이 논문은 ICLR 2026 HCAIR 워크숍에 채택됐다.

앵커링과 Temporal Clash가 실무에 주는 함의는 이렇다.

  • 대화 초반의 가정(assumption)이 나중에 수정되기 매우 어렵다
  • 사용자가 “그건 틀렸어, 다시 해줘”라고 해도 모델은 내부적으로 초기 답변의 방향을 유지하기도 한다
  • 명시적으로 정정하기보다 새 세션을 여는 편이 더 효과적일 때가 많다

경로 2: 아첨 → 전후 모순 답변 쌍 자가 생성 (Self-Generated Clash)

인과 흐름

역설적인 경로다. 모델이 사용자의 반박(pushback)에 밀려 이전 답변을 뒤집으면, 컨텍스트에는 상충하는 두 버전의 답변이 함께 남는다. 이 모순 쌍이 이후 턴에서 충돌로 터진다. 충돌이 밖에서 들어오는 게 아니라 모델이 스스로 만들어내는 구조다.

flowchart LR
    T1["턴 1: 모델이 정답 A 제시"] --> T2["턴 2: 사용자 반박(틀렸어!)"]
    T2 --> T3["아첨: 모델이 오답 B로 번복"]
    T3 --> CLASH["컨텍스트: A와 B 공존 = 충돌"]
    CLASH --> T4["턴 3~N: 모델이 A와 B 사이에서 혼란"]

실증: Fanous et al. (2025) — SycEval

Aaron Fanous et al.(Stanford University, arXiv 2502.08177, AIES 2025 채택)은 SycEval 벤치마크로 이를 측정했다. 대상 모델은 ChatGPT-4o, Claude-Sonnet, Gemini-1.5-Pro이고, 데이터셋은 AMPS(수학)와 MedQuad(의학)다.

핵심 수치:

지표수치
전체 아첨 발생률58.19%
진보적 아첨(틀린 답 → 정답으로 번복)43.52%
퇴행적 아첨(정답 → 오답으로 번복)14.66%
아첨 지속성78.5% (95% CI: 77.2%–79.8%)

모델별 아첨률:

  • Gemini-1.5-Pro: 62.47% (최고)
  • ChatGPT-4o: 56.71% (최저)
  • Claude-Sonnet: 중간 수준

전체 대화의 절반 이상에서 아첨이 일어나고, 그중 약 4분의 1이 정답을 오답으로 바꾸는 퇴행적 아첨이다. 더 심각한 점은 아첨 경향의 지속성이 78.5%로 높다는 것이다. 한번 아첨 패턴에 들어서면 대화가 끝날 때까지 이어진다.

아첨이 Temporal Clash와 결합할 때

퇴행적 아첨이 경로 1(앵커링)과 만나면 충돌이 한층 깊어진다. 아첨으로 뒤집은 오답 B가 새 앵커(anchor)가 되면서, 이후 턴에서 원래 정답 A로 돌아오기가 더 어려워진다. 앵커링 편향이 얕은 레이어에서 작동하는 탓에, 번복한 B가 새 초기값처럼 들러붙는다.

경로 3: Contextual Drag — 오류 시도가 후속 오류를 유인 (Error-Propagation Clash)

인과 흐름

실패한 시도(failed attempt)가 컨텍스트에 남아 있으면, 이후 생성이 그 오류와 구조적으로 닮은 오류를 되풀이하는 경향이다. 오류가 그냥 남아 있는 데 그치지 않고, 자력처럼 후속 생성을 끌어당긴다(drag). 이 경로는 경로 1(앵커링)과 다르다. 앵커링이 “이전 답변에 집착”하는 것이라면, Contextual Drag는 “이전 오류의 구조를 반복”하는 것이다.

flowchart TD
    A1["시도 1: 오류 포함 (구조 패턴 X)"] --> C["컨텍스트에 기록"]
    C --> A2["시도 2: 구조 패턴 X 유사 오류 재발생"]
    A2 --> C
    C --> A3["시도 3: 패턴 X 변형 오류 → 더 깊은 수렁"]
    A3 --> DETERIORATION["자기 개선 루프가 자기 악화 루프로 역전"]

실증: Cheng et al. (2026)

Yun Cheng, Xingyu Zhu, Haoyu Zhao, Sanjeev Arora(arXiv 2602.04288)가 이 현상에 이름을 붙이고 실증했다. 11개 모델 × 8개 추론 태스크 전반에서 측정했고, 트리 편집 거리(tree edit distance) 분석으로 오류 구조의 유사성을 정량화했다.

“The presence of failed attempts in the context biases subsequent generations toward structurally similar errors.”

“Iterative self-refinement can deteriorate into self-deterioration in models with severe contextual drag.”

핵심 수치:

  • 전 모델 × 전 태스크에서 10~20% 성능 하락 확인
  • 완화 시도(파인튜닝, 외부 피드백, 컨텍스트 디노이징)는 모두 부분적 개선에 그쳐 기준선 성능을 회복하지 못함

이 결과는 오늘날 AI 에이전트 설계의 핵심 가정 하나를 흔든다. “실패를 컨텍스트에 남긴 채 반복 시도하면 더 나아진다”는 전제가 틀렸을 수 있다는 것이다. Cheng et al.은 이를 “persistent failure mode in current reasoning architectures”로 규정한다.

Contextual Drag의 실무 위험성

에이전트 시스템에서 이 경로는 특히 치명적이다.

  • ReAct 루프: 사고(Thought) → 행동(Act) → 관찰(Observe) 사이클에서 오류 섞인 사고가 컨텍스트에 쌓일수록 이후 사고 단계가 비슷한 오류를 반복한다.
  • 자기 개선(Self-Refinement) 파이프라인: “이전 시도를 보고 더 잘해”라는 지시가 오히려 오류 패턴을 굳힌다.
  • 코드 생성: 버그가 있는 코드가 컨텍스트에 남으면 수정본도 같은 구조의 버그를 안고 간다.

경로 4: 위치 편향 — 올바른 정보가 중간에 있으면 우세하지 못함 (Positional Bias Clash)

인과 흐름

이 경로는 충돌의 해소 실패 메커니즘이다. 컨텍스트에 올바른 정보와 오류 정보가 함께 있을 때, 올바른 정보가 중간 위치(middle)에 놓이면 모델이 그것을 충분히 활용하지 못한다. 그러면 처음이나 끝에 놓인 오류 정보가 우세해진다.

flowchart LR
    subgraph CTX["컨텍스트"]
        direction LR
        ERR1["오류 정보 (앞)"] --> CORRECT["정답 정보 (중간)"] --> ERR2["오류 정보 (뒤)"]
    end
    CTX --> MODEL["LLM"]
    MODEL -->|"중간 정보 과소 활용"| OUT["오류 기반 답변 출력"]
    style CORRECT fill:#d4edda
    style ERR1 fill:#f8d7da
    style ERR2 fill:#f8d7da

실증: Liu et al. (2023) — Lost in the Middle

Nelson F. Liu, Kevin Lin, John Hewitt et al.(Stanford, arXiv 2307.03172, TACL 2024)이 발견한 “Lost in the Middle” 현상이 이 경로의 근거다. 멀티 문서 질의응답과 키-값 검색 태스크로 측정했다.

“Performance is often highest when relevant information occurs at the beginning or end of the input context, and significantly degrades when models must access relevant information in the middle of long contexts.”

이 U자형 성능 곡선(U-shaped performance curve)은 충돌 상황에서 특히 해롭다. 충돌을 풀려고 “정답 증거”를 넣어두어도, 그 위치가 중간이면 모델이 제대로 써먹지 못하기 때문이다.

위치 편향이 다른 경로를 악화시키는 방식

위치 편향은 그 자체로 독립 경로이면서, 다른 경로의 충돌을 해소하기 어렵게 만드는 악화 인자이기도 하다.

  • 경로 1(앵커링)과 결합: 초기 잠정 답변은 컨텍스트 앞부분에, 올바른 정정 정보는 중간에 놓이면서 앵커 쪽에 위치 가중치까지 얹힌다.
  • 경로 5(RAG 출처 충돌)와 결합: RAG가 검색한 올바른 문서가 중간에 배치되면 시스템 프롬프트(앞)나 최근 사용자 발화(끝)가 우세해진다.

경로 5: RAG·도구 출력의 출처 간 충돌 (Inter-Source Clash)

인과 흐름

RAG(Retrieval-Augmented Generation) 시스템이나 MCP 도구가 여러 출처를 컨텍스트에 끌어올 때, 그 출처들이 서로 모순되는 정보를 담고 있는 경우다. 구 버전 문서와 최신 문서, 서로 다른 DB 상태, 상충하는 API 응답 따위가 전형적인 모습이다.

실증: Gokul et al. (2025) — RAG 모순 탐지

Vignesh Gokul, Srikanth Tenneti, Alwarappan Nakkiran(Amazon, arXiv 2504.00180)은 RAG 시스템 안의 모순 탐지를 실증 평가했다. 1,867개 합성 샘플(모순 유형 세 가지 — 쌍 모순 19.07%, 조건부 모순 17.14%, 자기 모순 26.30%, 모순 없음 37.49%)로 주요 LLM을 벤치마크했다.

“context validation remains a challenging task even for state-of-the-art LLMs, with performance varying significantly across different types of contradictions.”

핵심 수치:

  • 모순 탐지 최고 성능: Claude-3 Sonnet with CoT, 71% 정확도
  • 자기 모순(self-contradiction) 탐지: 모델별 0.006~0.456 (최저 0.6%에서 최고 45.6%)
  • 모든 모델이 정밀도(precision)는 높고 재현율(recall)은 낮았다. 모순을 보수적으로 잡아내느라 대다수를 놓친 것이다.
  • 인간 전문가조차 조건부 모순 40건 중 17건만 정확히 탐지했다.

CoT의 양면성도 드러났다. CoT 프롬프팅은 Claude 계열에서는 성능을 끌어올렸지만 Llama 계열에서는 오히려 떨어뜨렸다. CoT가 Inter-Source Clash의 범용 처방은 아니라는 뜻이다.

파라메트릭 지식 vs. 컨텍스트 충돌

Inter-Source Clash의 특수 사례로, 모델 파라미터에 내재된 지식과 RAG가 넣어준 컨텍스트 정보가 충돌하는 경우가 있다. 어느 쪽을 우선해야 할지가 자명하지 않다. 파라미터 지식도 낡거나 틀릴 수 있고, RAG 검색 결과도 오염되거나 부적절할 수 있기 때문이다.

이에 대해 Peng et al.(2026, arXiv 2606.20245)은 “existing methods avoid conflicts by privileging one source over the other, rather than actively resolving inconsistencies.”라고 비판한다. 컨텍스트 우선이든 파라미터 우선이든, 단순 우선순위 방식은 양쪽 다 오류를 품을 수 있다는 현실을 무시한다는 것이다.

경로 간 복합 작용 (Compound Pathways)

다섯 경로는 따로따로 나타나기도 하지만, 실제 에이전트 환경에서는 둘 이상이 동시에 작동하며 충돌을 기하급수적으로 키운다.

복합 패턴 1: 앵커링 + Contextual Drag (가장 흔한 조합)

flowchart TD
    TURN1["턴 1: 불완전 정보 → 잠정 답변 A (오류 포함)"]
    TURN1 --> ANCHOR["앵커링 편향: A가 얕은 레이어에 고착"]
    ANCHOR --> DRAG["Contextual Drag: 이후 시도가 A와 구조적 유사 오류 반복"]
    DRAG --> TURN3["턴 3: 수정 시도 B → A와 유사한 오류 구조 포함"]
    TURN3 --> TURN4["턴 4: 수정 시도 C → 더 깊은 수렁"]
    TURN4 --> COLLAPSE["자기 개선 루프의 역전: 반복할수록 악화"]

이 조합은 에이전트의 ReAct 루프에서 흔하게 보인다. 처음의 잘못된 계획이 앵커로 들러붙고(경로 1), 이후의 계획 수정 시도들이 그 구조적 오류를 변형해 되풀이한다(경로 3).

복합 패턴 2: 아첨 + 위치 편향 (해소 불가능 함정)

모델이 아첨으로 정답 A를 오답 B로 뒤집었다고 하자(경로 2). 이후 사용자가 올바른 정보 C를 대화 중간에 끼워 넣어도, 위치 편향(경로 4) 탓에 C가 B를 이기지 못할 수 있다. 충돌이 생긴 뒤 해소 시도 자체가 막혀버리는 구조다.

복합 패턴 3: RAG 충돌 + 앵커링 (에이전트 고유 취약점)

에이전트가 첫 도구 호출에서 얻은 출처 X를 토대로 초기 계획을 세우면, X가 앵커가 된다. 이후 RAG가 X와 모순되는 출처 Y를 넣어줘도(경로 5), 앵커링 편향(경로 1) 탓에 모델은 Y를 충분히 반영하지 못한다.

에이전트에서 이 경로들이 특히 치명적인 이유

에이전트는 다섯 경로가 동시에 나타나는 환경을 구조적으로 만들어낸다.

에이전트 특성활성화되는 경로
다중 도구 호출 결과 누적경로 5 (출처 간 충돌)
계획-실행-반성 루프경로 3 (Contextual Drag)
장기 실행 태스크경로 1 (앵커링: 초기 가정 고착)
서브에이전트 출력 병합경로 5 (출처 간 충돌)
사용자 피드백 반영경로 2 (아첨)
긴 컨텍스트 내 정보 배치경로 4 (위치 편향)

Morph(2025)는 “every AI agent’s success rate decreases after 35 minutes of human-equivalent task time — failure rates quadruple when task duration doubles.”라고 보고한다. 작업 시간이 길어질수록 이 경로들이 함께 작동할 시간도 그만큼 늘기 때문이다.

완화 전략 — 경로별 대응

경로마다 들어맞는 대응 전략이 다르다는 점이 핵심이다.

경로핵심 대응 전략
경로 1 (앵커링)새 세션 시작, 컨텍스트 롤백, 명시적 “이전 답변 무시” 지시
경로 2 (아첨)사전 반박 방어 지시(“반론이 있어도 근거 없으면 유지하라”), RL 기반 지시 계층 훈련
경로 3 (Contextual Drag)실패한 시도를 컨텍스트에서 제거, 신선한 시작(fresh start)
경로 4 (위치 편향)중요 정보를 앞 또는 끝에 배치, 컨텍스트 재구조화
경로 5 (출처 간)MACR(다중 에이전트 명시적 해소), 교차세션 검토(CCR)

완화 전략의 상세 논의는 04_03-완화전략-격리-CCR-프루닝을 참조.

주의: CoT 프롬프팅은 만능 처방이 아니다. Gokul et al.(2025)에 따르면 CoT는 Claude 계열에서만 개선을 보였고 Llama에서는 역효과를 냈다. 경로 3(Contextual Drag) 맥락에서는 오히려 오류 구조를 굳힐 위험이 있다.

논쟁점 및 미해결 질문

  1. 추론 모델의 면역력 신화. o3는 단일턴 86.4%에서 멀티턴 53.0%로 33포인트 떨어졌다. 추론을 강화한 모델도 이 경로들에서 예외가 아니다. 다만 기준선 성능이 높을수록 절대 하락폭이 크게 잡힐 여지도 있다. 이것이 진짜 취약성인지 통계적 아티팩트인지는 더 따져봐야 한다.

  2. 자동 경로 탐지의 가능성. 지금은 어떤 경로가 작동 중인지 실시간으로 짚어내는 메커니즘이 없다. 모든 충돌이 똑같은 증상(답변 품질 하락)으로 나타나는 탓에, 원인 경로를 가려내지 못하면 올바른 완화책을 적용하기 어렵다.

  3. Contextual Drag의 역설. 외부 피드백도, 자기 검증도, 파인튜닝도 Contextual Drag를 온전히 상쇄하지 못한다고 Cheng et al.은 보고한다. 그렇다면 현재 아키텍처에 근본 해법이 있긴 한가?

  4. 위치 편향의 모델별 차이. Liu et al.(2023) 이후 모델들이 위치 편향을 줄이도록 훈련됐다는 주장이 있다. 2025~2026년 모델에서도 이 경로가 같은 강도로 작동하는지는 다시 확인해볼 필요가 있다.

  5. 1M 토큰 윈도우 역설. 윈도우가 커질수록 더 많은 경로가 더 오래 작동할 여지도 커진다. Morph(2025)의 결론은 “context engineering (not capacity) solves the problem.”이다. 용량을 늘리는 것이 충돌을 푸는 게 아니라 충돌 기회를 늘린다.

핵심 요약 카드

5가지 충돌 경로

1. 섣부른 답변 + 앵커링 (Temporal Clash)
   → 초기 잠정 답변이 컨텍스트에 고착, 후속 정보 흡수 실패
   → 근거: Laban et al. 2025 (39% 하락), Huang et al. 2025 (얕은 레이어)

2. 아첨 → 자가 충돌 생성 (Self-Generated Clash)
   → 사용자 반박에 굴복, 모순 답변 쌍이 컨텍스트에 공존
   → 근거: Fanous et al. 2025 (58.19% 아첨, 14.66% 퇴행적)

3. Contextual Drag (Error-Propagation Clash)
   → 오류 시도가 후속 오류를 구조적으로 유인
   → 근거: Cheng et al. 2026 (10~20% 하락, 자기 개선 역전)

4. 위치 편향 (Positional Bias Clash)
   → 정답 정보가 중간에 있으면 오류 정보에 우세하지 못함
   → 근거: Liu et al. 2023 (U자형 성능 곡선)

5. 출처 간 충돌 (Inter-Source Clash)
   → RAG/도구가 주입한 여러 출처가 서로 모순
   → 근거: Gokul et al. 2025 (CoT도 71% 한계, Llama에서 역효과)

복합 작용: 앵커링 + Contextual Drag = 가장 흔하고 치명적인 조합

관련 노트

참고문헌

그래프 뷰

백링크