컨텍스트 엔지니어링 실패모드 위키

07 심화 — 오염 거버넌스 MOC

9 min read

볼트 홈: README

07 심화 — 오염 거버넌스: 에이전트 룰 침범과 기준 재정의 문제

한줄 정의 — 오염 거버넌스(Contamination Governance) 란 멀티·서브·롱텀 에이전트 시스템에서 에이전트들이 서로의 규칙을 침범(rule trespass)하거나 이미 정해진 기준을 재정의(rule redefinition)하면서 시스템 전체의 일관성과 신뢰성이 무너지는 구조적 실패, 그리고 이를 막기 위한 권위(authority)·출처(provenance)·검증(validation) 설계 전반을 가리킨다.

이 챕터는 앞선 논의를 종합하고 처방을 제시하는 자리다. 01 오염부터 05 부패까지 다룬 단일 컨텍스트 실패모드와 06 해결전략의 해결 총론을 여러 에이전트와 시간 축으로 확장한 뒤, 핵심 처방인 “컨텍스트 = 슬롯 계약(slot contract)” 4계층 거버넌스 모델로 매듭짓는다.

TL;DR — 핵심 요약

  • 실패의 두 얼굴. 하나는 룰 침범으로, 병렬 에이전트가 서로의 규칙 영역을 모른 채 암묵적 결정(implicit decision)을 충돌시키는 공간축 오염이다. 다른 하나는 기준 재정의로, 긴 대화·압축·후속 명령이 초기 canonical 규칙을 변형시키는 컨텍스트 부식(context rot), 곧 시간축 오염이다.
  • 근본 원인은 권위 메타데이터의 부재다. 컨텍스트 슬롯에 이 규칙이 어디서 왔고(provenance), 누가 정했으며(authority), 얼마나 불변인지(immutability)가 적혀 있지 않으면, LLM은 시스템 규칙과 워커가 만든 메시지를 똑같은 무게로 다룬다.
  • 실측 수치도 이를 뒷받침한다. 평탄 컨텍스트 오케스트레이터의 스티어링 정확도는 N=3에서 60%, N=10에서 21%까지 떨어지고(DACS, 2026), 자기보고 라우팅은 랜덤보다도 나쁘다(프로베넌스 역설, 2026). 프로덕션 멀티에이전트 실패의 79%는 모델 역량이 아니라 사양·조율 문제에서 비롯된다(Acharya, 2026).
  • 안전성은 합성되지 않는다. “개별적으로 안전한 에이전트들이 결합되면 안전하지 않은 시스템을 구성할 수 있다”(de Witt et al., 2025). 거버넌스는 에이전트 단위가 아니라 시스템 토폴로지 단위로 설계해야 한다.
  • 처방은 컨텍스트를 슬롯 계약으로 보는 것이다. 불변 헌법층, 검증된 사실층, 작업 가설층, 휘발 스크래치층의 4계층으로 나누고, 각 슬롯에 쓰기권한·출처귀속·만료정책을 명시한다.

개관 — 4계층 슬롯 계약 / 권한 모델

graph TD
    subgraph SC["Context = Slot Contract (컨텍스트 = 슬롯 계약)"]
        L1["계층 1 · 불변 헌법층<br/>authority: system · immutable: true<br/>쓰기: 배포자만 · 만료: 없음<br/>(Managed Policy + Hook + Constitution)"]
        L2["계층 2 · 검증된 사실층<br/>authority: verified · immutable: 준불변<br/>쓰기: Verifier 통과시 · 만료: 출처 무효화시<br/>(provenance 링크 · Attested Identity)"]
        L3["계층 3 · 작업 가설층<br/>authority: agent · immutable: false<br/>쓰기: 워커 · 만료: 태스크 종료<br/>(가정·중간 결정 · trust 1)"]
        L4["계층 4 · 휘발 스크래치층<br/>authority: unknown · immutable: false<br/>쓰기: 도구/웹 · 만료: 즉시·검증후<br/>(외부입력 · IPI 격리 · trust 0)"]
    end
    L1 -->|"하향 구속"| L2 --> L3 --> L4
    VE["Verifier / 권한 게이트"] -.->|"무조건 수용"| L1
    VE -.->|"검증 후 승격"| L2
    VE -.->|"spec 대비 검증"| L3
    VE -.->|"신뢰경계·IPI 검역"| L4
    style L1 fill:#FF4444,color:#fff
    style L2 fill:#4488FF,color:#fff
    style L3 fill:#44AA44,color:#fff
    style L4 fill:#888888,color:#fff
    style VE fill:#FF8800,color:#fff

핵심 원리는 하나다. 하위 계층은 상위 계층을 재정의할 수 없다. 룰 침범은 계층 경계를 넘는 쓰기를 막아 차단하고, 기준 재정의는 만료 정책 없는 변형을 막아 차단한다.

학습 순서 — 하위 노트

  1. 07_01-문제정의-룰침범과-기준재정의 — 오염 거버넌스 실패의 두 축: 룰 침범(공간)·기준 재정의(시간)을 Flappy Bird·DACS·압축 위험으로 정의한다.
  2. 07_02-근본원인-권위와-출처-메타데이터-부재 — 왜 일어나는가. 슬롯에 authority/provenance가 없어 LLM이 모든 토큰을 동등 취급하는 구조적 원인.
  3. 07_03-공유-vs-격리-컨텍스트-트레이드오프 — 핵심 설계 결정. Cognition 단일선형 vs Anthropic 오케스트레이터-워커, DACS 격리의 정량 근거.
  4. 07_04-불변규칙-쓰기보호-CLAUDE-AGENTS-Constitutional — canonical 규칙을 어떻게 재정의 불가능하게 만드는가. CLAUDE.md/AGENTS.md 계층·Managed Policy·PreToolUse Hook·Constitutional AI.
  5. 07_05-메모리계층과-권한-MemGPT-오케스트레이터-워커 — 메모리 계층의 권위. MemGPT 자기편집 메모리, 오케스트레이터-워커 권위 분리, TierMem provenance 메모리.
  6. 07_06-provenance와-신뢰등급-프로베넌스-역설 — 출처·신뢰수준 추적. 자기보고가 오염을 확산시키는 프로베넌스 역설과 Attested Identity 처방.
  7. 07_07-충돌해소와-합의-안전성-비합성성 — 충돌 탐지·합의. SCF의 Policy-Authority-Temporal 해소, 안전성 비합성성, AgentCity 삼권분립.
  8. 07_08-처방-컨텍스트는-슬롯계약-4계층-모델 — (저자 견해) “컨텍스트 = 슬롯 계약” 4계층 거버넌스 모델. 각 층의 쓰기권한·출처귀속·만료정책을 단정적으로 정렬한다.
  9. 07_09-실전-체크리스트-오염거버넌스 — 운용 체크리스트. 설계·런타임·감사 3단계 점검표.
  10. 07_10-합의-알고리즘-비잔틴-정족수 — 충돌을 합의로 해소: PBFT(n≥3f+1)·정족수·Raft 차용과, LLM은 결정적 독립노드가 아니라 다수결이 안전성을 상속 못 하는 한계.
  11. 07_11-provenance-운영표준-C2PA-VC — 출처·신뢰등급 산업표준: C2PA·W3C VC/DID·OpenLineage를 4계층 슬롯계약에 매핑(self-claim→attestation 승급, “검증≠진실”).

타 챕터 링크

  • 01 오염 — 단일 컨텍스트에 거짓이 고착되는 메커니즘. 본 챕터는 그 오염의 시스템·시간 차원 전파.
  • 04 충돌 — 규칙·목표 충돌의 단일 모델 버전. 룰 침범은 이 충돌의 다중에이전트 형태.
  • 05 부패 — 시간에 따른 품질 저하. 기준 재정의·압축 위험의 토대.
  • 06 해결전략 — 해결 총론. 본 챕터 4계층 처방의 모(母)전략.
  • 08 실전 — CLAUDE.md·Hook의 실전 운용.

참고문헌

그래프 뷰

백링크