컨텍스트 엔지니어링 실패모드 위키

문제정의 — 룰 침범(공간축)과 기준 재정의(시간축)

10 min read

상위: 07_00_MOC

문제정의 — 룰 침범과 기준 재정의, 오염 거버넌스의 두 축

오염 거버넌스 실패는 하나의 현상이 아니라 서로 직교(orthogonal)하는 두 축을 가진다. 이 둘을 갈라서 보지 않으면 처방이 엉킨다. 룰 침범은 격리로 막고 기준 재정의는 불변화로 막는데, 두 처방의 작동 메커니즘이 애초에 다르기 때문이다.

축이름차원한 줄 정의1차 처방
공간축룰 침범(Rule Trespass)에이전트 간(inter-agent)한 에이전트가 다른 에이전트의 규칙 영역을 모른 채 충돌하는 결정을 내림격리·검증 게이트
시간축기준 재정의(Rule Redefinition)턴 간(inter-turn)긴 대화·압축·후속 명령이 초기 canonical 규칙을 변형·소실시킴불변화·쓰기보호

1. 룰 침범 — 공간축: 병렬 에이전트의 암묵적 결정 충돌

Walden Yan(Cognition, 2025, “Don’t Build Multi-Agents”)은 멀티에이전트의 근본 함정을 Flappy Bird 클론 사례로 보여 준다. 두 서브에이전트에게 게임 제작을 병렬로 맡기면, 서브에이전트 1은 Super Mario 스타일 배경을 만들고 서브에이전트 2는 그 배경과 어울리지 않는 새(bird)를 만든다. 각자는 정상적으로 작동했지만 합쳐 놓으면 앞뒤가 맞지 않는다. 핵심은 다음 한 문장이다.

“Actions carry implicit decisions, and conflicting decisions carry bad results.” — Walden Yan(Cognition, 2025)

행동은 암묵적 결정을 동반한다. 각 에이전트는 명시되지 않은 가정, 이를테면 배경 스타일이나 캐릭터 톤, API 시그니처, 에러 포맷 따위를 스스로 정해 가며 작업한다. 어느 에이전트도 다른 에이전트의 규칙을 일부러 침범하려 들지 않았다는 점이 중요하다. 침범은 악의가 아니라 권위의 공백에서 저절로 일어난다. 누가 배경 스타일을 정할 권위를 갖는지 컨텍스트에 적혀 있지 않으니, 각자 자기 가정을 진실로 받아들인다.

Yan의 처방은 분명하다.

“Share context, and share full agent traces, not just individual messages.” — Walden Yan(Cognition, 2025)

개별 메시지가 아니라 전체 에이전트 트레이스(full agent trace) 를 공유해야 한다는 것이다. 의사결정이 지나치게 분산되면 컨텍스트가 충분히 공유되지 않아 실패한다. 그래서 Cognition은 기본값을 단일 선형 에이전트(single-threaded linear agent)로 두라고 결론짓는다. (트레이드오프는 07_03-공유-vs-격리-컨텍스트-트레이드오프.)

룰 침범의 외부 변종 — 간접 프롬프트 주입

침범의 주체가 내부 에이전트만은 아니다. 간접 프롬프트 주입(Indirect Prompt Injection, IPI) 은 외부 환경이 신뢰 경계(trust boundary)를 넘어 컨텍스트를 침범하는 경우다. 도구 반환값이나 검색된 웹 콘텐츠에 심긴 공격자 통제 컨텍스트가 사용자 의도와 무관하게 에이전트 행동을 슬그머니 조종한다(AgentSentry, Zhang et al., 2026). 프롬프트 튜닝으로는 풀리지 않는 아키텍처 수준 취약점이라, 신뢰 경계와 격리, 도구 호출 검증으로만 완화할 수 있다. (상세는 07_06-provenance와-신뢰등급-프로베넌스-역설.)

2. 기준 재정의 — 시간축: 컨텍스트 부식과 압축 위험

룰 침범이 공간적(에이전트 간) 오염이라면, 기준 재정의는 시간적(턴 간) 오염이다. 같은 에이전트가 시간이 흐르는 사이에 제가 따르던 규칙을 잊거나 바꿔 버린다.

장기 실행 에이전트의 실측 데이터(pickuma, 2026; Gamage 2026 재인용)를 보면 제약 준수율이 턴5의 73%에서 턴16의 33%로 떨어진다.

“Constraint compliance dropped from 73% at turn 5 to 33% at turn 16 without memory mitigation.” — Gamage(2026), pickuma(2026) 재인용

더 위험한 대목은 에이전트가 이 붕괴를 스스로 알아채지 못한다는 점이다. 실패한 시도와 오류 루프, 불완전한 추론이 노이즈로 쌓이면서 신호 대 잡음비가 나빠지는 현상을 context rot이라 한다(05 부패). 트랜스포머의 O(n²) 어텐션 스케일링 탓에 품질 낮은 이전 토큰이 새 토큰에 계속 영향을 미친다.

여기에 압축 위험(compaction hazard) 이 겹친다. 컨텍스트 윈도우 한계에 닿아 요약(compaction)할 때, 요약문에 섞여 든 오류가 이후 ground truth로 굳는다.

“Any factual error in that summary gets treated as ground truth going forward.” — pickuma(2026)

Claude Code 공식 문서(Anthropic, 2025)도 이 위험을 구조적으로 짚는다. 프로젝트 루트 CLAUDE.md는 /compact 이후 디스크에서 다시 주입되지만, 중첩(nested) CLAUDE.md 파일은 자동으로 재주입되지 않는다.

“Nested CLAUDE.md files in subdirectories are not re-injected automatically; they reload the next time Claude reads a file in that subdirectory.” — Anthropic Claude Code Memory 문서(2025)

즉 하위 디렉토리의 규칙은 압축 직후 잠시 사라졌다가, 그 디렉토리의 파일을 다시 읽기 전까지는 적용되지 않는다. 기준 재정의가 구현 차원에서 드러나는 실제 취약점이 바로 이것이다. (운용은 08 실전.)

flowchart TD
    T5["턴 5<br/>제약 준수율 73%"] --> N1["노이즈 축적<br/>실패 시도·오류 루프"]
    N1 --> T16["턴 16<br/>제약 준수율 33%<br/>(에이전트는 인식 못함)"]
    T16 --> CAP["컨텍스트 한계 도달<br/>→ /compact 요약"]
    CAP --> ERR["요약문에 오류 혼입"]
    ERR --> GT["오류 = ground truth<br/>이후 전 세션 고착"]
    CAP --> LOST["중첩 CLAUDE.md<br/>미재주입 → 하위 규칙 소실"]
    style T5 fill:#44AA44,color:#fff
    style T16 fill:#FF8800,color:#fff
    style GT fill:#FF4444,color:#fff
    style LOST fill:#FF4444,color:#fff

3. 왜 별도 챕터인가 — 합성 불가능성

두 축을 따로 막는다고 안전이 보장되지는 않는다. 이 챕터를 별도 심화로 떼어 둔 이유가 여기에 있다.

“Individually safe agents can compose into unsafe systems.” — de Witt et al.(2025)

개별적으로는 안전한 에이전트들도 결합하면 안전하지 않은 시스템이 될 수 있다(07_07-충돌해소와-합의-안전성-비합성성). Vivek Acharya(2026)의 진단은 이것이 모델 문제가 아님을 못 박는다.

“79% of failures stemming from specification and coordination issues rather than model capability limitations.” — Acharya(2026)

프로덕션 멀티에이전트 실패의 79%는 모델 역량이 아니라 사양과 조율의 거버넌스 문제에서 비롯한다. 모델을 더 똑똑하게 만든다고 풀리는 문제가 아니다. 다음 노트에서는 두 축이 공유하는 근본 원인, 곧 권위와 출처 메타데이터의 부재를 파고든다(07_02-근본원인-권위와-출처-메타데이터-부재).

참고문헌

그래프 뷰

백링크