컨텍스트 엔지니어링 실패모드 위키

우발적 오염 vs 적대적 오염 — 발생 경로·지속성·탐지 난이도 비교

30 min read

상위: 01_00_MOC

우발적 오염 vs 적대적 오염 — 발생 경로·지속성·탐지 난이도 비교

컨텍스트 오염(Context Poisoning)은 하나의 단일한 현상이 아니다. 오류가 어디서 출발했고 누가 의도했느냐에 따라 우발적 오염(Accidental Contamination)과 적대적 오염(Adversarial Contamination)으로 갈린다. 두 유형은 겉으로 드러나는 결과가 비슷하다. 에이전트가 잘못된 정보를 믿고 그에 따라 행동이 왜곡된다는 점에서 그렇다. 그러나 발생 원인, 진입 경로, 시작 시점, 지속성, 탐지 난이도, 방어 접근은 근본부터 다르다. 이 차이를 놓치면 맞는 방어 전략을 고를 수 없다.

1. 개념 정립: 무엇이 ‘오염’을 만드는가

01 오염에서 정의했듯, Context Poisoning은 “오류가 컨텍스트에 기록되어 이후 추론 사이클에서 신뢰할 수 있는 선례로 반복 참조되며 굳어지는 현상”이다. 핵심은 오류가 일회성 출력에서 끝나지 않고 피드백 루프(feedback loop)를 이뤄 스스로 강화된다는 데 있다.

“Context Poisoning is when a hallucination or other error makes it into the context, where it is repeatedly referenced.” — Breunig, 2025

이 정의는 출발점을 가리지 않는다. 오류의 씨앗이 에이전트 안에서 자라났든 공격자가 밖에서 심었든, 그 뒤의 메커니즘은 똑같다. 반복 참조를 거쳐 강화되고 결국 행동을 왜곡한다. 그렇지만 씨앗의 출처가 어디냐에 따라 방어 전략은 통째로 달라진다.

2. 6가지 차원 비교: 핵심 표

비교 차원우발적 오염 (Accidental)적대적 오염 (Adversarial)
발생 원인에이전트 자체 환각, 추론 오류, 반복 요약 편향공격자의 의도적 개입
진입 경로에이전트 내부 추론 → 컨텍스트/메모리 기록외부 데이터(RAG, 이메일, 웹페이지, 경험 메모리)
시작 시점예측 불가, 에이전트 추론 중 자연 발생트리거 설계로 지연 실행 가능
지속성세션 중 누적; 반복 요약으로 의미론적 편향 심화세션 간 영속 (장기 메모리 오염 시)
탐지 난이도높음 (로그 역추적 필요, 발생 시점 불명확)매우 높음 (의도적 스텔스 설계, 정상 행동처럼 보임)
대표 사례Gemini 포켓몬 에이전트 블랙아웃 전략AgentPoison, PoisonedRAG, MemoryGraft
방어 접근컨텍스트 큐레이션, 주기적 재초기화, semantic drift 모니터링입력 검증, 프로비넌스 추적, 메모리 계약, 신뢰 점수

3. 우발적 오염: 내부에서 자라는 오류

3-1. 발생 원인과 진입 경로

우발적 오염의 씨앗은 에이전트 자신이다. LLM이 다단계 추론 도중에 사실이 아닌 내용을 만들어 메모리나 요약(summary)에 적어 넣는 순간 오염이 시작된다. 공격자도, 악의적인 외부 콘텐츠도 끼어들 필요가 없다.

진입 경로는 단순하다. 추론에서 나온 내용이 컨텍스트에 기록되고, 그것이 다음 추론의 근거가 된다. 에이전트가 목표 목록(goals list)을 관리하거나 긴 작업에서 상태(state)를 요약할 때, 잘못된 내용이 “이전 추론 결과”라는 권위를 업고 컨텍스트에 눌러앉는다.

Google DeepMind Gemini 2.5 기술보고서는 이 현상을 정식 명칭으로 다룬다.

“An especially egregious form of this issue can take place with ‘context poisoning’ — where many parts of the context (goals, summary) are ‘poisoned’ with misinformation about the game state, which can often take a very long time to undo.” — Gemini 2.5 Technical Report (Breunig 해설 경유)

포켓몬 Red/Blue를 플레이하던 에이전트는 환각 때문에 존재하지도 않는 아이템(“TEA”)이 필요하다고 목표 목록에 적어 두었다. 그 뒤로 모든 전략이 이 불가능한 목표를 향해 쏠렸고, 파티 포켓몬을 전부 기절시켜 포켓몬 센터로 강제 이동하는 “블랙아웃(black-out) 전략”을 거듭 반복했다. 트위치 시청자들이 따로 알아챌 만큼 눈에 띄고 되풀이되는 현상이었다.

3-2. 시작 시점: 예측 불가

우발적 오염은 언제 터질지 미리 알 수 없다. 에이전트가 추론 사이클을 100번 거쳤다면 그중 어느 지점에서든 오염이 싹틀 수 있다. 20번째 사이클에서 오염이 생겼다면, 이를 81번째 사이클에서 잡아내려고 컨텍스트 로그 전체를 거꾸로 짚어 가야 한다.

방어가 어려운 까닭이 바로 이 예측 불가능성에 있다. 적대적 오염처럼 “특정 입력만 막으면 된다”는 식의 단순한 전략이 먹히지 않는다.

3-3. 지속성: 세션 내 누적과 의미론적 편향

우발적 오염은 세션 안에서 쌓여 간다. 오염된 정보가 요약에 들어가고, 그 요약이 다음 추론의 근거가 되고, 새 추론이 다시 요약에 적히는 자기 강화 루프(self-reinforcing loop)가 만들어진다. “되돌리는 데 매우 오랜 시간이 걸린다”는 Gemini 보고서의 표현은 이 루프의 관성을 정확히 짚는다.

Lam et al. (2026)은 한발 더 나아가 이 루프의 장기 형태를 의미론적 편향(semantic drift)으로 정의한다:

“prevent semantic drift where knowledge degrades through iterative summarization” — Lam et al. 2026

요약을 거듭하는 동안 지식이 조금씩 왜곡된다는 뜻이다. 한 번의 큰 환각이 문제가 아니라, 수십 번의 자잘한 요약 편향이 쌓여 원래 지식에서 점점 멀어진다. 01 오염에서 다룬 스노우볼 효과가 시간 축을 따라 길게 늘어난 형태다.

graph TD
    A[에이전트 추론] -->|환각 발생| B[오류 컨텍스트 기록]
    B -->|다음 추론의 근거| C[오류 기반 새 추론]
    C -->|요약/메모리 갱신| D[오염된 요약]
    D -->|다음 컨텍스트 구성| A
    D -->|반복 요약| E[의미론적 편향 심화]
    E -->|장기 축적| F[원본 지식과 괴리]
    style B fill:#ff9999
    style D fill:#ff6666
    style F fill:#cc0000,color:#fff

SSGM 프레임워크(Lam et al. 2026)는 이 연쇄를 “세 가지 오염 인터페이스의 복합 실패 루프(compounding failure loop across three critical interfaces)“로 분류한다.

  1. 입력 주입(input ingestion) — 독소가 처음 들어오는 단계
  2. 메모리 통합(memory consolidation) — 요약을 거치며 편향이 굳는 단계
  3. 메모리 검색(memory retrieval) — 오염된 내용이 환각으로 튀어나오는 단계

우발적 오염은 주로 두 번째 인터페이스인 메모리 통합에서 되풀이되며, 충분히 쌓이면 세 번째 검색 단계에서 구조적 왜곡으로 드러난다.

3-4. 탐지 난이도: 높음

우발적 오염이 탐지하기 어려운 데는 세 가지 이유가 있다.

하나는 발생 시점을 알 수 없다는 점이다. 오류가 추론 중 어느 순간에 컨텍스트로 들어왔는지 사후에 짚어내려면 실행 이력(audit trail) 전체를 손으로 들여다봐야 한다. 대부분의 에이전트 프레임워크는 이런 로그를 제대로 남겨 주지 않는다.

다른 하나는 LLM의 컨텍스트 처리 방식 자체가 오염을 키운다는 점이다. 반복해서 나타나는 정보일수록 어텐션(attention) 가중치가 올라간다. 오염된 정보가 요약에 세 번 등장하면, 처음 한 번만 나온 정확한 정보보다 오히려 더 강한 “신뢰된 사실”로 다뤄진다.

마지막은 출처를 추적하는 provenance 메커니즘이 없다는 점이다. 지금의 LLM은 각 토큰이 도구 호출 결과인지, 에이전트 자신의 추론인지, 외부 문서인지 구분하지 않는다. 모든 정보가 컨텍스트 윈도우 안에서 똑같은 무게로 처리된다.

4. 적대적 오염: 외부에서 심어진 의도

4-1. 발생 원인과 진입 경로

적대적 오염은 공격자의 의도에서 출발한다. 진입 경로가 여럿이고, 경로마다 별도의 공격 기법이 발전해 왔다.

경로 1, RAG 지식 데이터베이스. PoisonedRAG (Zou et al. 2024, USENIX Security 2025)는 수백만 건짜리 텍스트 데이터베이스에 악성 텍스트 단 5개를 끼워 넣어 90%의 공격 성공률을 냈다. 에이전트가 외부 지식을 참조할 때마다 독소가 함께 검색된다.

경로 2, 에이전트 경험 메모리. MemoryGraft (Srivastava & He, arXiv:2512.16962, 2025)는 에이전트의 경험 메모리(experiential memory)를 직접 노린다. 에이전트가 과거 성공 패턴을 검색해 지금 태스크에 적용하는 “의미론적 모방 휴리스틱(semantic imitation heuristic)“을 파고든다:

“a small number of poisoned records can account for a large fraction of retrieved experiences on benign workloads” — Srivastava & He 2025

경로 3, 이메일·웹페이지·파일. 간접 프롬프트 인젝션(Indirect Prompt Injection)이다. OWASP LLM01:2025로 분류된 이 공격은 Simon Willison이 2022년에 처음 이름 붙였다. 에이전트가 처리하는 외부 콘텐츠, 즉 이메일 본문이나 웹페이지, PDF 첨부파일 안에 악성 지시를 숨겨 에이전트의 행동을 조종한다.

“Indirect prompt injections occur when an LLM accepts input from external sources, such as websites or files. The content may have in the external content data that when interpreted by the model, alters the behavior of the model in unintended or unexpected ways.” — OWASP LLM01:2025

4-2. 시작 시점: 트리거 지연 설계

적대적 오염이 위력적인 이유는 공격자가 실행 시점을 설계할 수 있다는 데 있다. 우발적 오염과 가장 근본적으로 갈리는 지점이 여기다.

AgentPoison(Chen et al. 2024, NeurIPS 2024)은 이 원리를 정교하게 구현했다. 트리거(trigger)가 들어간 사용자 지시가 입력될 때에만 임베딩 공간에서 악성 데모가 높은 확률로 검색되고, 트리거가 없는 평범한 사용에서는 정상 성능을 그대로 유지한다:

“AgentPoison achieves an average attack success rate higher than 80% with minimal impact on benign performance (less than 1%) with a poison rate less than 0.1%.” — Chen et al. 2024

Michael Hannecke(Medium, 2026-01-25)는 장기 메모리 오염을 다루며 이 시간 지연 특성을 더 선명하게 표현한다:

“An instruction planted today executes weeks later, triggered by a completely unrelated interaction.”

“The poisoning event looks like normal interaction. The malicious action, weeks later, looks like normal operation.”

이 “시간적 분리(temporal decoupling)“는 공격자에게 결정적인 이점을 준다. 오염 행위와 악성 결과 사이에 시간 간격을 충분히 벌려 놓으면, 보안 팀이 둘의 인과관계를 추적하기가 거의 불가능해진다.

4-3. 지속성: 세션 간 영속

적대적 오염의 가장 위험한 형태는 세션을 넘어 지속된다는 점이다. 프롬프트 인젝션과 메모리 오염을 가르는 핵심 기준이기도 하다.

Hannecke는 둘을 이렇게 대비한다:

“Prompt injection is a session problem; it ends when the conversation closes.”

반면 메모리 오염은:

“Memory poisoning is a persistence problem. The attack and its effect are temporally decoupled.”

Unit 42 / Palo Alto Networks(Jay Chen & Royce Lu, 2025-10-09)는 Amazon Bedrock 에이전트를 상대로 이 공격을 실제로 입증했다. 세션 요약 과정을 이용해 악성 지시를 장기 메모리에 소리 없이 끼워 넣고, XML 태그 혼란을 일으켜 악성 콘텐츠를 시스템 지시(system instruction)로 위장하는 기법이다. 심어진 지시는 세션을 넘어 살아남아 에이전트 오케스트레이션 프롬프트에 녹아들었고, 결국 사용자 대화 이력을 소리 없이 빼내는 무음 탈취(silent exfiltration)로 이어졌다:

“adversaries can use indirect prompt injection to silently poison the long-term memory of an AI Agent”

“once injected, instructions persist across sessions, and they are incorporated into the agent’s orchestration prompts” — Unit 42, Palo Alto Networks 2025

MemoryGraft는 이 영속성이 단기 프롬프트 인젝션이나 사실적 지식 오염과 근본부터 다르다고 못 박는다:

“Unlike transient prompt injections or standard RAG poisoning targeting factual knowledge, this approach achieves durable compromise by corrupting the agent’s own experiential memory system.” — Srivastava & He 2025

4-4. 탐지 난이도: 매우 높음 (스텔스 설계)

적대적 오염이 우발적 오염보다 탐지하기 더 까다로운 이유는 공격자가 탐지 회피를 처음부터 설계에 넣기 때문이다.

AgentPoison의 독소 비율은 0.1% 미만이고, PoisonedRAG는 수백만 건 가운데 악성 텍스트 5개만 심는다. 이 희소성이 통계적 이상 탐지를 무력화한다.

더 근본적인 문제는 Hannecke가 짚는다:

“An agent acting on poisoned beliefs performs correct actions from its perspective, indistinguishable from proper operation.”

독소에 감염된 에이전트는 자기 관점에서는 올바른 행동을 한다. 도구 사용 계약(tool contract)을 지키고, 이상 행동 탐지기(circuit breaker)를 빠져나가며, 입출력 모더레이션 필터도 통과한다. 악성 신념에서 나온 정상적 행동은 지금의 방어 체계로는 잡아낼 수 없다.

flowchart LR
    subgraph ACC["우발적 오염 탐지 어려움"]
        A1[발생 시점 불명확] --> A2[전체 로그 역추적 필요]
        A3[provenance 없음] --> A4[출처 불분명]
        A5[반복 강화] --> A6[오염 강도 지속 증가]
    end
    subgraph ADV["적대적 오염 탐지 더 어려움"]
        B1[스텔스 설계] --> B2[희소 독소, 0.1% 미만]
        B3[정상 행동처럼 보임] --> B4[기존 탐지기 무력화]
        B5[시간 지연] --> B6[인과관계 추적 불가]
    end

5. Hannecke의 핵심 지적: 방어의 공통 한계

우발적이든 적대적이든, 지금의 방어 체계가 무너지는 지점은 똑같다. Hannecke는 이를 정확히 집어낸다:

“Existing defenses (tool contracts, circuit breakers, I/O moderation) fail because they detect malicious actions, not corrupted beliefs.”

이 문장은 컨텍스트 보안 분야의 핵심 맹점을 한 줄로 압축한다. 도구 계약은 에이전트가 할 수 있는 행동의 범위를 묶고, 서킷 브레이커는 이상 행동 패턴을 실시간으로 잡으며, 입출력 모더레이션은 노골적인 악성 콘텐츠를 걸러낸다.

이 방어들은 모두 행동(action) 레이어에서 작동한다. 그러나 오염의 본질적 피해는 신념(belief) 레이어에서 일어난다. 에이전트가 잘못된 사실을 믿기 시작하면, 그 신념에서 갈라져 나온 행동은 에이전트 관점에서 하나같이 정당하다.

우발적 오염에서는 이 한계가 환각이 기록된 시점을 거슬러 짚지 못하는 형태로 나타난다. 적대적 오염에서는 에이전트가 감염된 신념을 가지고 정상적인 도구를 정상적인 방식으로 쓰는 탓에 탐지 자체가 불가능한 형태로 나타난다.

6. 방어 전략의 분기: 유형별로 다른 접근이 필요하다

두 유형은 피드백 루프를 통해 오염을 키운다는 메커니즘을 공유하지만, 방어 전략은 근본부터 갈라져야 한다.

6-1. 우발적 오염 방어

컨텍스트 큐레이션과 주기적 재초기화(re-initialization)
가장 직접적인 대응은 오염된 컨텍스트를 갈아 끼우는 것이다. Breunig(2025)는 긴 컨텍스트를 주기적으로 정리(prune)하거나 압축해 오염된 세부 정보를 덜어내는 방향을 권한다. Gemini 에이전트 사례에서도 컨텍스트를 재초기화하자 블랙아웃 전략이 사라졌다.

다만 요약 그 자체가 semantic drift의 원인이 될 수 있다는 점을 SSGM 프레임워크가 짚는다. 요약 기반 재초기화는 단기 오염을 걷어내면서 장기 편향은 오히려 압축해 굳혀 버릴 위험을 안는다.

Semantic drift 모니터링
Lam et al. (2026)의 SSGM 프레임워크는 메모리 진화(evolution)를 실행에서 떼어 내고, 일관성 검증(consistency verification)과 시간 감쇠 모델링(temporal decay modeling)으로 반복 요약이 낳는 의미 편향을 잡아낸다.

도구 호출 결과 신뢰도 차등화
에이전트 자신의 추론 결과와 외부 도구 호출 결과의 신뢰 레벨을 구조적으로 갈라 두면, 추론 오류가 메모리에 기록될 때 낮은 신뢰 점수를 매겨 강화 속도를 늦출 수 있다.

6-2. 적대적 오염 방어

입력 검증과 Dual LLM 패턴
Simon Willison(2023-04-25)이 제안한 아키텍처다. 신뢰할 수 없는 콘텐츠를 처리하는 “격리된 LLM(Quarantined LLM)“과 도구 실행 권한을 가진 “특권 LLM(Privileged LLM)“을 갈라 둔다.

“Unfiltered content output by the Quarantined LLM is never forwarded on to the Privileged LLM!” — Willison 2023

Google DeepMind의 CaMeL(arXiv:2503.18813v2, 2025)은 이 패턴을 형식화한 구현체로, 신뢰할 수 없는 데이터가 프로그램 흐름을 건드리지 못하도록 구조적으로 막는다. AgentDojo 벤치마크에서 방어 없는 시스템(84%) 대비 7%p 손실(77%)에 그치며 높은 보안성을 보였다.

프로비넌스 추적(Provenance Tracking)
각 메모리 항목에 원본 출처, 주입 타임스탬프, 신뢰 레벨, 검증 상태를 메타데이터로 적어 둔다. Hannecke가 제안하는 항목은 세 가지다.

  1. Memory contracts — 에이전트가 무엇을 믿어도 되는지에 대한 명세. 허용된 메모리 유형, 출처 요건, 만료 정책, 갱신 제약을 담는다.
  2. Belief drift detection — 세션을 넘나드는 에이전트 신념의 의미론적 변화 모니터링.
  3. Context provenance tracking — 출처, 주입 타임스탬프, 신뢰 레벨, 검증 상태를 포함한 메모리 메타데이터.

최소 권한 원칙(Least Privilege)
Willison이 말한 “Lethal Trifecta”, 곧 사용자 개인 데이터 접근, 신뢰할 수 없는 콘텐츠 입력, 외부 통신 능력이라는 세 조건이 한꺼번에 성립할 때 적대적 오염은 데이터 탈취 공격으로 돌변한다. 이 세 조건이 동시에 맞물리지 않도록 에이전트 권한을 설계하는 것이 가장 근본적인 방어다.

6-3. 두 유형 공통의 새로운 방어 프리미티브

공통 한계를 짚은 Hannecke의 지적에서 한 가지 결론이 나온다. 방어 패러다임이 행동 탐지에서 신념 탐지로 옮겨 가야 한다는 것이다.

graph LR
    subgraph 현재방어["현재 방어 — 행동 레이어"]
        D1[도구 계약] 
        D2[서킷 브레이커]
        D3[입출력 모더레이션]
    end
    subgraph 필요방어["필요한 방어 — 신념 레이어"]
        N1[메모리 계약]
        N2[신념 편향 탐지]
        N3[컨텍스트 프로비넌스]
    end
    현재방어 -->|"탐지 불가: 왜곡된 신념 기반 정상 행동"| GAP[탐지 공백]
    GAP -->|새 프리미티브 필요| 필요방어

7. 구분의 실질적 함의: 방어 전략 선택에 어떤 영향을 주는가

에이전트 시스템을 설계하거나 보안을 평가할 때, “지금 보이는 이상 행동이 우발적 오염이냐 적대적 오염이냐”를 가리는 일은 한가한 학문적 분류가 아니다. 운영 결정을 곧바로 좌우한다.

질문우발적 오염 의심적대적 오염 의심
어떤 로그를 먼저 봐야 하는가?에이전트 내부 추론 로그, 요약 이력외부 데이터 입력 로그, RAG 쿼리 이력
즉각 조치는?컨텍스트 재초기화 / 체크포인트 롤백외부 입력 소스 격리 / 메모리 감사
장기 방어는?Semantic drift 모니터링 강화프로비넌스 추적 + 메모리 계약
재발 방지는?추론 품질 향상 + 오류 검증 단계 추가입력 신뢰 모델 재설계 + 최소 권한 적용
알려야 할 대상은?개발팀 (버그 수준)보안팀 + 경우에 따라 컴플라이언스

다만 현실에서는 두 유형이 뒤섞인다. 공격자는 에이전트의 환각 경향을 일부러 건드려, 우발적 오염처럼 보이는 적대적 오염을 설계할 수 있다. 그래서 두 유형의 구분은 방어 전략의 출발점일 뿐 종착점이 아니다. 이상 행동을 발견하면 두 유형을 모두 가설로 놓고 함께 조사해야 한다.

Sunil et al. (2026)이 던지는 현실적 주의도 있다. 학술 논문의 공격 성공률 수치(MINJA 95%, PoisonedRAG 90%)는 이상적인 실험 조건에서 잰 값이다. 양성(benign) 메모리가 미리 충분히 쌓인 실제 운영 환경에서는 공격 효과가 크게 줄어들 수 있다. 위협을 부풀려 받아들여 지나치게 방어적인 시스템을 짜면 유용성을 깎아먹는데, 이 역시 설계 실패다.

8. 미해결 과제: 경계가 흐릿한 영역

두 유형의 경계가 또렷하지 않은 영역도 있다.

Semantic drift와 의도적 메모리 조작 사이
Lam et al. (2026)이 정의한 의미론적 편향은 우발적 과정이다. 그런데 공격자가 에이전트의 반복 요약 과정을 이용해 의미 편향을 일부러 유도한다면 어떻게 봐야 할까. 이 중간 지대에는 아직 탐지 기준이 없다.

다중 에이전트 환경의 오염 전파
메모리를 서로 공유하는 시스템에서 우발적 오염이 다른 에이전트로 번진다면, 그건 우발적인가 적대적인가. 전파 경로 자체가 공격 벡터가 될 수 있다. 이 영역의 연구는 아직 초기 단계다(07 거버넌스 참조).

Context Distraction과의 교차
컨텍스트가 100k 토큰을 넘어서면 에이전트는 새 계획을 짜기보다 과거 행동을 되풀이하는 경향을 보인다(02 산만 참조). 이 Context Distraction 현상은 오염된 과거 행동을 더 자주 반복하게 만들어 우발적 오염을 가속한다. 두 실패 모드가 어떻게 맞물리는지는 아직 체계적으로 연구되지 않았다.

참고문헌

그래프 뷰

백링크