우발적 오염 실증 사례 — Gemini 2.5 포켓몬 에이전트

상위: 01_00_MOC

한 줄 요지

Gemini 2.5 에이전트가 포켓몬 Red/Blue를 플레이하는 과정에서, 존재하지 않는 아이템에 대한 환각이 goals list에 기록되며 컨텍스트 오염이 발생했고, 이후 에이전트의 전략 전체가 불가능한 목표로 수렴(fixation)되는 현상이 트위치 생방송에서 반복·관찰되었다.

1. 왜 이 사례가 중요한가

컨텍스트 오염(Context Poisoning / Contamination)은 이론에만 머무는 개념이 아니다. Google DeepMind의 Gemini 2.5 기술보고서(2025)는 실제 에이전트 운영 중에 발생한 오염 사례를 “context poisoning”이라는 용어로 분명하게 기술한 첫 주요 1차 문헌이다. 이 실험은 트위치(Twitch) 스트리밍으로 공개 진행되어, 시청자들이 행동 패턴을 독립적으로 관찰하고 기록할 수 있었다. 이 사례가 특별한 이유는 다음과 같다.

1차 문헌과 2차 해설이 서로 맞물린다. Google DeepMind 기술보고서와 Breunig 해설 블로그(2025-06-17)가 같은 현상을 따로 다룬다.
실시간으로 관찰할 수 있었다. 라이브 스트리밍 환경에서 트위치 채팅 시청자들이 패턴을 거듭 알아챘다는 사실은, 오염 행동이 통계적 노이즈가 아니라 구조적이고 반복적인 현상임을 보여준다.
전략 납치(strategy hijack)를 실증한다. 오염은 단순히 출력 품질을 떨어뜨리는 데 그치지 않고, 에이전트의 의사결정 구조 전체를 장악할 수 있다.

관련 개념: 01 오염 · 02 산만 · 07 거버넌스

2. 실험 설정: 장기 에이전트 + 압축 컨텍스트 구조

Gemini 2.5 에이전트는 포켓몬 Red/Blue(게임보이 원작)를 자율적으로 플레이하도록 설계되었다. 에이전트 아키텍처의 핵심 특징은 다음과 같다.

스크래치패드(scratchpad) 기반 추론: 에이전트가 매 스텝마다 goals(목표), summary(요약), 관찰 결과를 스크래치패드에 기록한다.
컨텍스트 압축 전략: 장기 플레이에서 컨텍스트 창(context window)을 넘기지 않도록, 이전 상태를 요약해 새 컨텍스트에 전달한다.
도구 사용: pathfinder(게임 내 경로 탐색 기능)를 비롯한 여러 도구를 호출할 수 있다.
공개 스트리밍: 전체 플레이 과정을 트위치로 실시간 공개한다.

이 구조에서 스크래치패드의 goals/summary는 에이전트의 작업 기억(working memory) 역할을 한다. 오염이 발생하면 가장 먼저 파고드는 지점이기도 하다.

flowchart TD
  A["게임 상태 관찰<br/>(Game State Observation)"] --> B["스크래치패드 업데이트<br/>(Goals + Summary)"]
  B --> C["다음 행동 결정<br/>(Action Selection)"]
  C --> D["도구 호출<br/>(Tool Call: pathfinder 등)"]
  D --> A
  B -- "오염된 goals 기록" --> E["잘못된 목표 고착<br/>(Fixation)"]
  E --> C
  style E fill:#ff6b6b,color:#fff

3. 오염 발생: TEA 아이템 환각과 goals list 침투

3-1. 환각의 원인 — 훈련 데이터 혼재

Gemini 에이전트는 인터넷 훈련 데이터에서 포켓몬 시리즈 전반에 관한 정보를 학습했다. 포켓몬 Red/Blue(1996 원작)와 Fire Red/Leaf Green(2004 리메이크)은 같은 세계관이지만 게임 내 아이템 구성이 다르다. 특히 마산시(Celadon City) 게이트 경비원을 통과하기 위한 조건이 두 버전 간에 다르다:

Red/Blue 원작: 게임 내 스크립트 트리거 조건만 충족하면 통과한다.
Fire Red/Leaf Green 리메이크: 특정 NPC에게 TEA 아이템을 줘야 통과한다.

에이전트는 두 버전의 정보를 뒤섞은 채 “TEA 아이템이 필요하다”는 잘못된 전제를 세웠다.

3-2. goals list 오염 — 피드백 루프 시작

이 환각은 한 번의 오류 출력으로 끝나지 않았다. 에이전트는 “TEA 아이템을 입수해야 경비원을 통과할 수 있다”는 전제를 goals list에 그대로 기록했다. 그 결과는 이랬다.

“if a hallucination (like the above tea example) made it into the goals list, the model would become, ‘fixated on achieving impossible or irrelevant goals.‘” — Breunig, 2025-06-17

이때부터 에이전트의 추론 사이클은 오염된 목표를 검증 없이 신뢰할 수 있는 전제(trusted premise)로 받아들였다. 목표 자체가 달성 불가능하니, 이후의 모든 전략적 추론은 도달할 수 없는 상태로 수렴하는 구조적 함정에 빠졌다.

Gemini 2.5 기술보고서 원문은 다음과 같다.

“An especially egregious form of this issue can take place with ‘context poisoning’ – where many parts of the context (goals, summary) are ‘poisoned’ with misinformation about the game state, which can often take a very long time to undo. As a result, the model can become fixated on achieving impossible or irrelevant goals.”

여기서 눈여겨볼 표현이 “can often take a very long time to undo”다. 오염이 한 번 goals/summary에 기록되면 컨텍스트 압축 사이클을 거치며 요약에 들어가고, 다음 컨텍스트로도 넘어간다. 에이전트가 스스로 이 오염을 알아차리고 지우기까지는 상당한 시간이 걸리며, 때로는 자력 복구가 아예 불가능하다.

sequenceDiagram
  participant Agent
  participant Goals as Goals List
  participant Summary as Context Summary
  participant Game as 게임 상태

  Agent->>Goals: "TEA 아이템 필요" (환각 기록)
  Goals->>Summary: 컨텍스트 압축 시 포함
  Summary->>Agent: 다음 사이클 입력
  Agent->>Game: TEA 탐색 시도 (불가능)
  Game-->>Agent: 실패 결과
  Agent->>Goals: "TEA 아이템 아직 미입수" (재기록)
  Goals->>Summary: 다시 압축에 포함
  Note over Agent,Game: 루프 반복 — 컨텍스트 오염 심화

4. 오염의 행동 귀결: 세 가지 관찰 가능한 패턴

4-1. 불가능한 목표로의 수렴 (Fixation)

에이전트는 TEA 아이템 획득이라는 불가능한 목표에 집착했고, 이 집착이 다른 모든 전략적 가능성을 막았다. Breunig에 따르면 에이전트는 “spent many, many hours attempting to find the TEA or to give the guard TEA”라는 행동을 되풀이했다. fixation의 전형적인 모습이다.

목표가 현실적으로 가능한지 다시 따지지 않는다.
다른 경로를 찾아보지 않는다.
실패가 거듭돼도 같은 전략을 고집한다.

기술보고서가 이 현상을 “fixated on achieving impossible or irrelevant goals”로 표현한 것은 단순한 묘사가 아니라, 에이전트 아키텍처 차원의 취약점을 인정하는 진술이다.

4-2. 블랙아웃(Black-out) 전략 — 비합리적 우회의 반복

오염된 컨텍스트 아래에서 에이전트는 막힌 경로를 돌파하기 위해 극단적으로 비합리적인 전략을 채택했다:

“Context poisoning can also lead to strategies like the ‘black-out’ strategy” — Breunig, 2025-06-17

블랙아웃 전략은 이렇게 작동한다. 파티의 모든 포켓몬을 일부러 기절(faint)시키면 가장 가까운 포켓몬 센터로 강제 이동(teleport)되는데, 그 대가로 소지금의 절반을 잃고 목표 지점에서도 멀어진다.

이 전략을 거듭 쓰는 에이전트의 행동은 겉보기엔 “막힌 경로를 우회하려는 시도”처럼 보인다. 그러나 실제로는 오염된 전제(TEA가 없으면 전진 불가)를 받아들인 채, 유효한 다른 선택지를 떠올리지 못한 결과다. 블랙아웃 전략 자체로는 목적지에 닿을 수 없으므로, 에이전트는 같은 상황으로 돌아와 같은 시도를 반복했다.

4-3. pathfinder 도구 망각 (Tool Forgetting)

세 번째 패턴은 도구 망각(tool forgetting)이다. 에이전트는 pathfinder 도구를 쓸 수 있었는데도, 스트레스가 큰 상황(목표 미달성에 자원 고갈까지 겹친 상태)에서 이 도구의 존재를 통째로 잊어버렸다.

“the model ‘completely forgot to use its pathfinder tool’” — Breunig 해설 (기술보고서 내용 경유)

Breunig은 이를 “hyper-focus on needing to solve the stressful problem, which led to worse gameplay”라고 묘사한다. 오염된 목표에 대한 집착이 컨텍스트의 주의 자원을 다 써버리면서, 정작 쓸모 있는 도구를 떠올리는 능력이 묻혀버린 것이다.

이 현상은 02 산만(Context Distraction)과 맞닿아 있다. 오염(Poisoning)이 집착을 낳고, 그 집착이 도구 인식을 막는 산만(Distraction)으로 번지는 연쇄 구조다.

flowchart LR
  A["TEA 환각<br/> goals에 기록"] -->|"Context Poisoning"| B["불가능한 목표 집착<br/>(Fixation)"]
  B -->|"자원·주의 소진"| C["pathfinder 도구 망각<br/>(Tool Forgetting)"]
  B -->|"출구 전략 부재"| D["블랙아웃 전략 반복<br/>(Black-out Loop)"]
  C --> D
  D -->|"실패 후 재시작"| B
  style A fill:#ff6b6b,color:#fff
  style B fill:#ff9f43,color:#fff
  style C fill:#feca57,color:#333
  style D fill:#ff6b6b,color:#fff

5. 트위치 채팅: 독립 관찰자의 검증

이 사례에서 특히 눈에 띄는 점은, 트위치 스트리밍 시청자들이 에이전트의 비정상 행동 패턴을 독립적으로 알아채고 이름까지 붙였다는 사실이다.

“The problematic panic behavior occurred in enough separate instances that the members of the Twitch chat have actively noticed when it is occurring.” — Breunig, 2025-06-17

여기서 읽어낼 수 있는 것이 두 가지다.

하나는 행동 패턴의 반복성이다. 단발성 사건이 아니라 충분히 여러 번 되풀이됐기에 시청자들이 패턴으로 인식했다. 통계적 노이즈가 아니라 구조적 현상이라는 외부 확증인 셈이다.

다른 하나는 관찰 가능성이다. 오염된 에이전트의 행동은 전문가가 아닌 일반 게임 스트리밍 시청자도 알아챌 만큼 뚜렷하게 비정상적이었다. 오염 이후의 행동 변화가 미세한 성능 저하가 아니라 눈에 보이는 전략 붕괴였다는 뜻이다.

6. 왜 복구가 어려운가 — “오랜 시간이 걸려도 되돌리기 어렵다”

기술보고서의 “can often take a very long time to undo”는 오염의 자기 강화(self-reinforcing) 메커니즘을 그대로 짚는다. 포켓몬 에이전트의 구조에서 이 메커니즘은 이렇게 굴러갔다.

TEA 환각이 goals에 기록되며 오염이 시작된다.
컨텍스트 압축 사이클에서 오염된 goals가 요약에 편입된다.
압축된 요약이 새 컨텍스트의 출발점이 된다.
오염된 전제가 “과거 사실”로 취급되며 추론의 토대가 되고, 같은 추론이 반복된다.
자주 참조될수록 신뢰가 쌓인다. LLM은 컨텍스트 안에 자주 나오는 정보에 더 큰 가중치를 둔다.

이 루프에서 에이전트가 오염을 스스로 알아채려면 현재 goals와 실제 게임 상태를 정합성 검사(consistency check)할 수 있어야 한다. 하지만 에이전트에게는 게임 상태를 직접 확인할 독립적 수단이 없다. 오염된 goals를 뒤집으려면 그에 맞서는 충분히 강한 외부 신호가 있어야 한다. 이 문제는 01 오염 전반에서 다루는 provenance(출처 추적) 부재와 곧장 연결된다.

7. 우발적 오염 vs 적대적 오염: 이 사례의 위치

이 사례는 우발적 오염(accidental contamination)의 전형이다. 외부 공격자가 없었고, 오염은 순전히 에이전트 자체의 훈련 데이터 혼재와 내부 추론 오류에서 비롯됐다.

속성	이 사례 (Gemini 포켓몬)
오염 원인	훈련 데이터 혼재 → 환각 (Fire Red 정보 → Red/Blue 맥락에 적용)
오염 진입점	에이전트 자체 추론 → goals list 기록
외부 공격자	없음
오염 지속 기제	컨텍스트 압축 요약 사이클
탐지 주체	트위치 시청자 (외부 관찰자), 연구팀 사후 분석
자력 복구	매우 어려움 (“very long time to undo”)
전략 영향	goals 전체 납치, 도구 망각, 비합리적 우회 전략 반복

적대적 오염(07 거버넌스)과의 결정적 차이는 의도가 있느냐 없느냐다. 그러나 에이전트가 받는 영향, 즉 불가능한 목표에 대한 집착, 전략 납치, 자력 복구 불가는 본질적으로 같다. 우발적 오염이라도 그 결과는 에이전트 시스템 전체를 사실상 마비시킬 수 있다.

8. 이 사례가 에이전트 설계에 주는 시사점

8-1. goals list는 쓰기 전용 신뢰 구조가 되면 안 된다

에이전트가 goals list에 적은 내용을 검증 없이 “신뢰할 수 있는 사실”로 취급하면, 환각이 쓰인 순간부터 goals list가 오염 벡터로 변한다. goals list에 대한 쓰기(write)는 검증 게이트(validation gate)를 거쳐야 하고, 기록된 목표를 점검하는 정합성 감사(goal consistency audit) 메커니즘이 필요하다.

8-2. 컨텍스트 압축은 오염을 증폭한다

요약(summarization)은 컨텍스트 창 한계를 우회하는 데 꼭 필요한 전략이지만, 동시에 오염된 내용을 걸러내지 않고 다음 세대로 넘기는 통로이기도 하다. Lam et al. (2026)이 “semantic drift”로 이론화한 현상(01 오염 참조)이 바로 이 구조에서 일어난다. 요약 전 오염 체크포인트(pre-summarization contamination checkpoint)가 필요한 이유다.

8-3. 도구 망각은 목표 오염의 2차 피해다

pathfinder 도구 망각은 별개의 버그가 아니라, goals 오염이 주의 자원을 소진시킨 결과다. 에이전트가 쓸 수 있는 도구 목록을 상태와 무관하게 주기적으로 다시 확인하는(tool re-anchoring) 메커니즘이 필요하다.

8-4. 장기 에이전트에는 provenance 추적이 필수다

지금 대부분의 에이전트 프레임워크는 컨텍스트 안 각 정보의 출처(source), 생성 시점(timestamp), 신뢰 등급(trust level)을 추적하지 않는다. Hannecke(2026)가 제안한 memory contracts, belief drift detection, context provenance tracking(01 오염 참조)은 이 사례가 드러낸 취약점을 구조적으로 풀어내려는 방향이다.

9. 직접 인용 모음

“An especially egregious form of this issue can take place with ‘context poisoning’ – where many parts of the context (goals, summary) are ‘poisoned’ with misinformation about the game state, which can often take a very long time to undo. As a result, the model can become fixated on achieving impossible or irrelevant goals.”

— Google DeepMind, Gemini 2.5 Technical Report (2025), Breunig 해설 인용

“Context poisoning can also lead to strategies like the ‘black-out’ strategy”

— Breunig, An Agentic Case Study: Playing Pokémon with Gemini (2025-06-17)

“if a hallucination (like the above tea example) made it into the goals list, the model would become, ‘fixated on achieving impossible or irrelevant goals.‘”

— Breunig, 위 동일 출처 (기술보고서 내용 인용)

“The problematic panic behavior occurred in enough separate instances that the members of the Twitch chat have actively noticed when it is occurring.”

— Breunig, 위 동일 출처

“the model ‘completely forgot to use its pathfinder tool’”

— Breunig, 위 동일 출처 (기술보고서 내용 인용)

10. 한계 및 유보 사항

1차 문헌 인용의 성격: 이 노트가 인용하는 기술보고서 내용은 Breunig 해설(2025-06-17)을 통해 확인한 것이다. 원문 PDF의 해당 섹션을 직접 열람해 대조하면 더 좋다.
실험 재현 불가: 포켓몬 플레이 실험은 Google DeepMind 내부에서 진행됐고, 같은 조건으로 외부에서 재현하기는 현재로선 어렵다.
오염 발생 시점 불명: 몇 번째 스텝에서 TEA 환각이 처음 생겼는지, 전체 플레이에서 오염이 얼마나 지속됐는지에 대한 정량 데이터는 공개되지 않았다.
블랙아웃 전략의 의도성: 블랙아웃이 오염의 결과로 “선택된” 전략인지, 아니면 오염과 무관하게 따로 나타나는 행동인지는 Breunig 해설에서도 깔끔하게 갈리지 않는다. “context poisoning can also lead to strategies like the ‘black-out’ strategy”라는 문장은 상관관계를 내비칠 뿐 인과를 못 박지는 않는다.

참고문헌

An Agentic Case Study: Playing Pokémon with Gemini — David Breunig, 2025-06-17, dbreunig.com
Gemini 2.5 Technical Report — Google DeepMind, 2025, 기술보고서 (PDF)
01 오염 — 챕터 01 MOC: 컨텍스트 오염 개념 전체 정리
02 산만 — Context Distraction: 오염 이후 발생하는 도구 망각·주의 분산
07 거버넌스 — 적대적 오염 심화 사례 및 거버넌스 전략

컨텍스트 엔지니어링 실패모드 위키

탐색기