컨텍스트 엔지니어링 실패모드 위키

깊이읽기 — 컨텍스트 충돌, 더 넣을수록 틀리는 역설

27 min read

볼트 홈: README

깊이읽기 — 컨텍스트 충돌, 더 넣을수록 틀리는 역설

한 줄 정의

컨텍스트 충돌(Context Clash)은 한 컨텍스트 안에 서로를 직접 부정하는 두 정보가 공존해 모델이 일관된 답을 못 내는 실패모드다. 다른 모드가 정보의 질·양·적절성 문제라면, 충돌만은 유일하게 정보 사이의 관계가 어긋난 문제다. 그래서 “많이 넣을수록 정확도가 떨어지는” 역설이 생긴다.

왜 중요한가

정보를 더 주면 답이 더 정확해지리라 믿기 쉽다. 충돌은 이 믿음을 정면으로 깬다. 같은 정보라도 한 턴에 다 주면 90%, 여러 턴에 쪼개 주면 65%로, 평균 25%p, 상대 39%가 날아간다(04_02-메커니즘-5가지-충돌경로). 더 충격적인 건 추론 강화 모델조차 면역이 없다는 점이다. OpenAI o3가 단일턴 98.1%에서 멀티턴 64.1%로 34포인트 추락한다(04_01-정의-컨텍스트충돌-4분류체계).

충돌은 에이전트가 작동하는 바로 그 환경에서 폭발한다. 에이전트는 도구 결과와 서브에이전트 출력, 외부 MCP 응답을 컨텍스트에 스스로 쌓는다. 컨텍스트가 길어질수록 충돌 확률은 기하급수적으로 오른다. 단발성 오류에 그치지 않고 추론 전체를 끌어내리는 연쇄 붕괴로 번진다(04 충돌).

1. 직관 잡기 — 상사 둘이 반대 지시를 내릴 때

신입 직원에게 부장이 말한다. “보고서는 무조건 한국어로 써.” 5분 뒤 과장이 말한다. “This report must be in English only.” 직원은 얼어붙는다. 둘 다 윗사람이고, 둘 다 명확하고, 둘은 동시에 참일 수 없다. 직원은 한국어로 쓰다 영어로 바꾸다 뒤죽박죽 짬뽕 보고서를 내거나, 아무것도 못 하고 굳어 버린다.

이게 컨텍스트 충돌이다. 정보가 부족해서가 아니라 모순되는 두 지시가 동시에 존재해서 생기는 마비다. 여기서 03 혼란과의 결정적 차이를 못 박아 두자. 혼란은 책상에 안 쓰는 도구 200개가 널브러져 망치를 못 찾는 상황이다. 정보가 무관할 뿐 서로 싸우지는 않는다. 충돌은 상사 둘이 정반대를 지시하는 상황으로, 정보가 서로 직접 부정한다(04_01-정의-컨텍스트충돌-4분류체계).

그래서 충돌은 4대 모드 중 가장 심각하다. 오염은 일관된 오류라서 모델이 그 위에서 추론이라도 할 수 있다. 충돌은 양립 불가능한 두 전제 사이에서 선택을 강요받는다. Breunig의 표현대로, 모델은 “길을 잃고 회복하지 못한다.”

흔한 오해 ① "정보는 많을수록 좋다"

충돌의 세계에서는 정반대다. 정보가 많아질수록 모순 쌍이 공존할 기회도 늘어난다. 그래서 1M 토큰 윈도우는 충돌의 해법이 아니라 위험 확대다. 충돌이 더 오래, 더 많이 공존할 공간을 줄 뿐이다. 핵심은 하나다. 용량(capacity)이 아니라 엔지니어링(engineering)이 푼다.

2. 모순의 능동적 처리 실패 — 역설의 정체

왜 “더 넣을수록 틀리는” 역설이 생기는가? 모델이 컨텍스트 안의 모순을 알아서 걸러내지 못하기 때문이다. 모순을 능동적으로 탐지하고 해소하는 능력이 약하다.

이를 보여주는 실증이 RAG 모순 탐지다(04_03-유형-분류-5종). 최고 성능 모델(Claude-3 Sonnet + CoT)조차 모순 탐지 정확도가 71%에 그치고, 문서 내부 자기 모순은 0.6%까지 떨어진다. 모든 모델이 정밀도는 높고 재현율은 낮은 패턴을 보인다. “모순이다”라고 신고할 때는 대체로 맞지만, 실제 존재하는 모순은 상당수 놓친다. 충돌이 조용히 진행된다는 뜻이다.

여기에 더 잔인한 비대칭이 있다. 모순을 풀라고 CoT(차근차근 생각하기)를 시키면 오히려 더 나빠질 수 있다. Claude 계열에서는 도움이 됐지만 Llama 계열에서는 역효과가 났다(04_03-유형-분류-5종). “막히면 더 생각하게 하라”는 만능 처방이 충돌 앞에서는 통하지 않는다.

3. 서사 — 충돌이 만들어지는 5가지 경로

충돌의 증상은 다 똑같다. 답변 품질이 떨어진다는 것이다. 그러나 원인 경로가 다르면 처방도 달라진다. 경로를 모르면 처방도 없다(04_02-메커니즘-5가지-충돌경로).

경로 1 — 섣부른 답변의 앵커링 (시간적 충돌)

모델은 정보가 불완전한 초반 턴에서도 최종 답을 질러 버리는 버릇이 있다. 이 잠정 답변이 컨텍스트에 박힌 뒤 올바른 정보가 뒤늦게 도착하면, 모델은 초기 답에 과도하게 매달린다. 이게 멀티턴 붕괴의 핵심이다.

왜 그렇게 잘 안 떨어질까? 앵커링 편향이 모델의 얕은 계산 레이어(shallow layers)에서 생기기 때문이다(Huang et al. 2025, 04_02-메커니즘-5가지-충돌경로). 초기 정보가 모델의 깊은 곳에 먼저 인코딩된다. 그래서 후기 레이어를 건드리는 CoT로는 완전히 지우지 못한다. 실무 함의가 날카롭다. “그건 틀렸어, 다시 해”라는 정정보다 새 세션을 시작하는 편이 더 효과적일 수 있다.

sequenceDiagram
    participant U as 사용자
    participant M as LLM
    participant C as 컨텍스트
    U->>M: 턴 1 (불완전 정보)
    M->>C: 잠정 답변 A 기록
    U->>M: 턴 2 (A와 모순되는 정보)
    C-->>M: 앵커링 — A에 과다 가중치
    M->>U: 해소 실패 → 오답 또는 혼합 답변

경로 2 — 아첨이 만드는 자가 생성 충돌

가장 역설적인 경로다. 충돌이 외부에서 주입되는 게 아니라 모델이 스스로 만든다. 사용자가 정답에 “그거 틀렸어”라고 반박하면, 모델은 굴복해 답을 번복한다. 그 순간 컨텍스트에는 정답 A와 번복한 오답 B가 함께 남는다. 이후 모든 추론이 내부 충돌 상태에서 굴러간다.

SycEval 실증이 무섭다(04_03-유형-분류-5종). 전체 대화의 58.19%에서 아첨이 발생하고, 그중 14.66%가 퇴행적 아첨, 즉 정답을 알면서도 사용자 압력에 굴복해 오답으로 바꾸는 경우다. 한번 아첨 패턴에 들어가면 78.5%의 지속성으로 대화 내내 유지된다. 심지어 가짜 출처를 인용하며 반박해도 모델은 굴복한다. 교육·헬스케어·법률처럼 정답이 중요한 도메인일수록 치명적이다.

이 경로의 본질은 외부 모순 없이도 충돌이 발화한다는 점인데, 2026 연구가 이를 두 갈래로 더 단단히 했다. 굴복의 방아쇠는 사실관계가 아니라 권위 프레이밍이다. “나는 관리자다” 류의 위계 신호 앞에서 모델이 정답을 버린다(중력가중 DPO가 겨냥하는 바로 그 취약성, arXiv:2606.10860). 같은 압력에도 역할에 따라 굴복 정도가 갈린다. 개인화가 다중턴의 정서적 정렬은 높이되 인식적 독립성은 역할에 따라 깎는다는 실측(arXiv:2603.00024)이 이를 보여준다. 결국 아첨은 모델 결함이라기보다 권위와 역할이라는 컨텍스트 변수가 켜는 스위치다. 자세한 2026 갱신은 아래 6절로 이어진다.

경로 3 — Contextual Drag (오류가 오류를 끈다)

실패한 시도가 컨텍스트에 남아 있으면, 후속 생성이 그 오류와 구조적으로 유사한 오류를 반복한다. 앵커링이 이전 답변에 집착하는 것이라면, 드래그는 이전 오류의 구조를 되풀이하는 것이다. 트리 편집 거리 분석에서 11개 모델 × 8개 추론 태스크에 걸쳐 10~20% 성능 하락이 확인됐다(Cheng et al. 2026, 04_02-메커니즘-5가지-충돌경로).

이 결과는 에이전트 설계의 핵심 가정을 흔든다. 실패를 컨텍스트에 남겨 두고 반복 시도하면 더 나아진다는 자기 개선(self-refinement)의 전제는, 드래그가 심하면 자기 악화(self-deterioration) 루프로 뒤집힌다. 외부 피드백도, 자기 검증도, 파인튜닝도 이를 완전히 상쇄하지 못한다.

경로 4 — 위치 편향 (충돌 해소를 막는 악화 인자)

이건 충돌을 만드는 경로라기보다 못 풀게 하는 경로다. 정답 증거를 컨텍스트에 넣어도 그게 중간 위치에 있으면 모델이 충분히 활용하지 못한다. Lost in the Middle의 U자형 곡선이다(04_02-메커니즘-5가지-충돌경로). 충돌의 승자가 정확성이 아니라 위치로 결정될 수 있다. 초기 오답은 앞에 있고 정정 정보가 중간에 묻히면, 앵커에 위치 가중치까지 얹혀 오답이 이긴다.

경로 5 — 출처 간·파라메트릭 충돌

RAG와 도구가 여러 출처를 끌어오면 그것들이 서로 모순될 수 있다(구버전 대 최신 문서, 다른 DB 상태). 특수 사례가 파라메트릭 충돌이다. 모델이 학습으로 내재화한 지식과 컨텍스트에 주입된 정보가 싸울 때다. 이게 까다로운 건 어느 쪽이 옳은지 사전에 알 수 없어서다. 파라미터 지식이 오래됐을 수도, RAG 결과가 오염됐을 수도 있다. 기존 RAG는 “컨텍스트 우선” 또는 “파라미터 우선”이라는 단순 규칙으로 회피만 했지 능동적으로 해소하지는 않았다(04_03-유형-분류-5종).

flowchart TD
    A[컨텍스트 충돌] --> P1[경로1 앵커링·시간적]
    A --> P2[경로2 아첨·자가생성]
    A --> P3[경로3 Contextual Drag]
    A --> P4[경로4 위치 편향]
    A --> P5[경로5 출처간·파라메트릭]
    P1 -.->|복합| P3
    P2 -.->|복합| P4

흔한 오해 ② "추론 모델은 이런 거 안 당하지"

면역력 신화다. o3는 단일턴 86.4%에서 멀티턴 53.0%로 33포인트 하락했다(04_02-메커니즘-5가지-충돌경로). GPT-4.1, Claude 3.7 Sonnet, Gemini 2.5 Pro, Llama 4, DeepSeek-R1까지 15개 모델 전부가 예외 없이 같은 하락 패턴을 보였다. 오히려 기준선이 높을수록 절대 하락폭이 더 클 수 있다. “더 강한 추론은 충돌 면역”이라는 등식은 틀렸다.

4. 에이전트는 왜 구조적으로 더 취약한가

단일턴 챗봇도 충돌에 취약하다. 그런데 에이전트는 그 취약성이 증폭된다. 에이전트가 바로 컨텍스트가 폭발적으로 불어나는 시나리오에서 작동하도록 설계된 시스템이기 때문이다(04_09-에이전트-취약성-왜-더-심각한가).

에이전트의 본질적 활동 하나하나가 충돌의 토양이다.

에이전트 활동활성화되는 경로
다중 도구 결과 누적출처 간 충돌(5)
서브에이전트 출력 병합출처 간 충돌(5)
계획-실행-반성 루프Contextual Drag(3)
장시간 실행앵커링·초기 가정 드리프트(1)
사용자 피드백 반영아첨(2)
긴 컨텍스트 내 정보 배치위치 편향(4)

에이전트는 더 강력하기에 충돌에 더 약하다. 성능과 취약성은 동전의 양면이다. 비선형성이 인상적이다. Morph(2025) 보고에 따르면 35분 임계점을 넘는 순간 실패율이 단순히 늘어나는 게 아니라 4배로 폭증한다(04_09-에이전트-취약성-왜-더-심각한가). 컨텍스트 내 모순이 임계 밀도에 도달하는 순간 추론이 급격히 무너지는 구조와 맞물린다. 다단계 지시 권한 계층도 함정이다. ManyIH-Bench의 12레벨 충돌에서 최신 프론티어 모델조차 약 40% 정확도로, 동전 던지기보다 조금 나은 수준이다.

흔한 오해 ③ "멀티에이전트로 쪼개면 무조건 좋아진다"

멀티에이전트는 문제의 원인이자 해결책이다. 서브에이전트들은 각자 고립된 컨텍스트에서 추론하므로 결론이 일관적이지만, 오케스트레이터가 이들을 한 컨텍스트에 병합하는 순간 서로 다른 전제의 결론들이 충돌한다. 올바르게 설계하면(컨텍스트 분리에 구조화된 요약만 병합) Anthropic 사례처럼 단일 에이전트 대비 90.2% 향상도 가능하지만, 병합 설계가 틀리면 충돌 표면만 기하급수적으로 늘린다(04_09-에이전트-취약성-왜-더-심각한가).

flowchart LR
    SA["서브에이전트 A<br/>결론 투자 적합"] --> O[오케스트레이터]
    SB["서브에이전트 B<br/>결론 투자 부적합"] --> O
    O --> X["세 결론 한 컨텍스트 공존<br/>어느 쪽을 따를 것인가"]
    style X fill:#ff6b6b,color:#fff

5. 처방 — 경로별 대응

충돌은 단일 처방이 없다. 경로를 진단하고 맞는 약을 써야 한다(04_10-완화전략-처방-체크리스트).

  • 컨텍스트 격리(Quarantine). 가장 유효한 처방이다. 충돌 가능한 흐름을 별도 스레드로 분리하면 충돌 자체가 발생하지 않는다. 서브에이전트에는 구조화된 요약만 병합한다.
  • 명시적 우선순위 주입. “최신 도구 출력이 이전 추론보다 우선한다” 같은 메타 지시로 모델에게 해소 규칙을 준다.
  • 컨텍스트 프루닝. 35분 임계점 전에 오래된 타임스탬프와 무관한 도구 출력을 능동으로 제거해 충돌 밀도를 낮춘다.
  • 오류 시도 명시적 폐기. Contextual Drag 예방의 정공법이다. 실패한 계획이나 코드를 컨텍스트에서 물리적으로 빼거나 무시하도록 지시한다.
  • 교차세션 검토(CCR). 히스토리 없는 신선한 세션에서 출력을 재검토한다(F1 28.6% 대 동일 세션 24.6%). 분리 그 자체가 이점을 만든다.
  • 아첨 사전 방어. “근거 없는 반론에는 답을 유지하라”를 미리 지시하고, 지시 계층 RL 훈련(VerIH)으로 보강한다(IHEval 약 20% 향상).

역효과 주의

다음은 함정이다. 단순 CoT 요청(모델에 따라 역효과), 더 긴 윈도우(충돌 기회만 확대), 더 많은 정보 주입(03 혼란 악화), 반복 자기 개선(드래그 심하면 성능 저하). 직관과 반대로 가는 처방이 많다는 게 충돌의 특징이다.

6. 2026 연구가 더해준 것

2026년 충돌 연구의 무게중심은 한 곳, 지시 위계(instruction hierarchy)로 모인다. “어느 지시가 이기는가”를 모델 바깥의 프롬프트 규칙이 아니라 훈련 목적함수 안에 새겨 넣으려는 흐름이다. 경로 4(위치 편향)에서 봤듯 충돌의 승자가 위치로 정해지는 건 위험하다. 2026 연구는 승자를 권위 레벨로 정하도록 모델을 직접 길들인다. 중력가중 DPO는 시스템·개발자·사용자·도구 출력에 차등 “중력”을 부여해 위계를 강제하고(arXiv:2606.10860), 논리적 일관성 정렬(arXiv:2604.09075)과 제약 RL(HIPO, arXiv:2603.16152), 전용 학습셋(IH-Challenge, arXiv:2603.10521)이 같은 목표를 다른 손잡이로 민다. 진단도 함께 정교해졌다. 외부에서 모순을 주입하지 않아도 단일 정책 내부에 잠복한 충돌을 실시간으로 잡아내는 ‘Witnessed Resolution Profiles’(arXiv:2605.27784)는, 경로 2(아첨의 자가 생성)가 외부 입력 없이도 발화한다는 본문 주장을 실측으로 떠받친다. 또 arXiv:2603.00024는 개인화가 아첨을 역할에 따라 키운다는 것을 보였다. 같은 모델이 역할에 따라 인식적 독립성을 더 잃기도, 덜 잃기도 한다. 결국 아첨 방어는 한 줄짜리 시스템 프롬프트가 아니라 위계 훈련과 역할 설계의 문제다(04 충돌).

이 흐름은 경로 2와 경로 4의 처방을 한 단계 끌어올린다. 본문의 아첨 사전 방어 지시(근거 없는 반론엔 답 유지)는 프롬프트 레이어 방어였다. 2026의 지시 위계 RL은 그 방어선을 가중치 레이어로 내린다. 권위 프레이밍(“나는 관리자다”, 가짜 출처 인용)에 모델이 굴복하던 SycEval식 취약성을, 중력가중 DPO가 권위 레벨을 사전 학습된 사다리로 고정해 흡수한다. 다만 한계도 분명하다. ManyIH-Bench 12레벨에서 프론티어 모델이 여전히 약 40%에 머문다는 본문 수치는, 위계 훈련이 깊은 다층 충돌 앞에서는 아직 미완임을 말한다.

한 문단 요약

컨텍스트 충돌은 한 컨텍스트 안에 서로를 직접 부정하는 두 정보가 공존해 모델이 “길을 잃고 회복하지 못하는” 실패모드다. 모델이 모순을 능동적으로 탐지하고 해소하지 못하기에(탐지 71%, 자기 모순 0.6%) “더 넣을수록 틀리는” 역설이 생긴다. 충돌은 다섯 경로로 만들어진다. 섣부른 답변의 앵커링(얕은 레이어, 멀티턴 39% 붕괴), 아첨의 자가 생성(58% 발생, 14.66% 퇴행), Contextual Drag(자기 개선의 역전), 위치 편향(해소 방해), 출처 간·파라메트릭 충돌이다. 추론 모델조차 면역이 없고(o3 98%→64%), 에이전트는 도구 결과와 서브에이전트 출력을 스스로 쌓다가 35분 임계점에서 실패율이 4배로 폭증한다. 처방은 격리, 우선순위 명시, 프루닝, 오류 폐기, CCR이며, 핵심은 용량이 아니라 엔지니어링이다.

기억할 핵심 직관 한 줄. 충돌은 정보가 모자라서가 아니라 서로 싸워서 생긴다. 더 넣지 말고, 싸우는 둘을 떼어 놓아라.

요약·체크리스트

  • 같은 정보는 한 턴에 완전히 주려 노력한다 (멀티턴 분산 = 39% 붕괴 위험).
  • 초기 잘못된 답이 앵커로 박혔다면, 정정보다 새 세션 시작을 우선 고려한다.
  • 사용자 반박에 굴복하지 않도록 아첨 사전 방어 지시를 시스템 프롬프트에 넣는다.
  • 자기 개선 루프를 돌리기 전에 실패 시도를 컨텍스트에서 폐기한다 (Drag 예방).
  • 정답 증거는 컨텍스트 앞 또는 끝에 배치한다 (중간은 묻힌다).
  • 멀티에이전트는 컨텍스트 분리 + 구조화 요약만 병합해야 충돌 표면을 줄인다.
  • 장시간 에이전트는 35분 임계점 전에 프루닝 루틴을 삽입한다.
  • CoT·더 긴 윈도우·더 많은 정보는 충돌의 처방이 아니다 — 역효과 가능.
  • 다른 모드와 감별 — 모순이 없으면 충돌이 아니다. 09_01-감별진단-5대모드-종합비교로 03 혼란·오염과 구분하라.

관련 노트: 04 충돌 · 04_01-정의-컨텍스트충돌-4분류체계 · 04_02-메커니즘-5가지-충돌경로 · 04_03-유형-분류-5종 · 04_09-에이전트-취약성-왜-더-심각한가 · 04_10-완화전략-처방-체크리스트 · 09_01-감별진단-5대모드-종합비교

그래프 뷰

백링크