컨텍스트 엔지니어링 실패모드 위키

Pokémon 에이전트 사례 — Gemini 2.5 Pro의 컨텍스트 산만 실증

22 min read

상위: 02_00_MOC

Pokémon 에이전트 사례 — Gemini 2.5 Pro의 컨텍스트 산만 실증

한 줄 정의

1M 토큰을 지원한다고 광고된 Gemini 2.5 Pro가 Pokémon 게임을 플레이하는 에이전트 실험에서 100K 토큰을 넘어서는 시점부터 새로운 계획을 만들지 못하고 과거 행동 반복에 고착됐다. 검색(retrieval)용 장문 컨텍스트와 다단계 생성 추론(multi-step generative reasoning)용 장문 컨텍스트가 본질적으로 다르다는 점을 보여주는 사례로, 에이전트 연구자들이 자주 인용한다.

1. 배경 — “Gemini Plays Pokémon”이란?

2025년 3월 28일, Google과 무관한 독립 개발자 Joel Zhang이 Gemini Plays Pokémon(GPP)이라는 Twitch 스트림을 열었다. 에이전트로 쓴 모델은 Gemini 2.5 Pro(Gemini 2.5 Pro Exp 03-25), 게임은 Pokémon Blue(Game Boy 오리지널 버전)였다. 앞서 나온 Claude Plays Pokémon(Anthropic, 2025)의 영향을 받아 시작된 실험이다.

Google DeepMind는 GPP 개발자와 협력해 이 실험을 Gemini 2.5 기술 보고서(2025)에 상세히 실었고, 그 결과 단순한 스트리밍 엔터테인먼트가 아니라 에이전트 능력 평가의 공개 사례로 자리잡았다. 기술 보고서의 Section 4.1과 Appendix 8.2 전체가 GPP에 할애될 만큼 비중이 크다.

2. 에이전트 아키텍처 — 설계 개요

에이전트 하네스(harness)는 다음과 같이 구성됐다.

graph TD
    GB["Pokémon Blue (Game Boy)"] --> RAM["Game State (RAM)"]
    GB --> SCR["Screenshot (Game Boy 화면)"]
    RAM --> MAIN["메인 에이전트<br/>Gemini 2.5 Pro<br/>(아키텍처 코어)"]
    SCR --> MAIN
    MAIN --> BTN["버튼 입력 → 게임 실행"]
    MAIN --> GG["Guidance Gemini<br/>(25턴마다 비판·검증)"]
    MAIN --> PF["pathfinder<br/>(경로 탐색 도구)"]
    MAIN --> BPS["boulder_puzzle_strategist<br/>(바위 퍼즐 전문 도구)"]
    MAIN --> MEM["요약 메모리<br/>(100턴/1000턴 압축)"]
    GG -.->|컨텍스트 공유| MAIN

핵심 설계는 다음과 같다.

  • RAM 기반 상태 추출: 픽셀 원시 데이터 대신 게임 RAM에서 텍스트로 변환한 게임 상태를 사용한다. 비전(vision) 정보를 완전히 빼도 성능에는 유의미한 차이가 없었다.
  • 메모리 압축: 100턴마다 요약을 정리(summary clear)하고, 1000턴마다 기존 요약을 다시 압축한다.
  • 목표 구조: 주요(primary), 보조(secondary), 3차(tertiary) 목표에 더해 비상계획(contingency), 탐험(exploration), 파티 구성(team composition) 목표를 따로 관리한다.
  • Guidance Gemini(GG): 메인 에이전트와 같은 컨텍스트를 공유하는 별도 Gemini 인스턴스가 25턴마다 성능을 비판하고 환각(hallucination)을 짚는다.
  • 도구: pathfinder(XML 맵 기반 경로 탐색)와 boulder_puzzle_strategist(Sokoban 유형 바위 퍼즐). 두 도구 모두 더 특화된 프롬프트를 가진 Gemini 2.5 Pro 인스턴스다.

이렇게 보면 GPP 에이전트는 단순한 단일 모델 루프가 아니라 다층 계층 에이전트(hierarchical multi-agent) 구조였다. 그런데도 컨텍스트 산만은 발생했다.

3. 산만 발생 지점 — 100K 토큰 임계

3.1 기술 보고서의 핵심 진술

Gemini 2.5 기술 보고서(Google DeepMind, 2025)는 다음과 같이 기록했다:

“While Gemini 2.5 Pro supports 1M+ token context, making effective use of it for agents presents a new research frontier. In this agentic setup, it was observed that as the context grew significantly beyond 100k tokens, the agent showed a tendency toward favoring repeating actions from its vast history rather than synthesizing novel plans. This phenomenon, albeit anecdotal, highlights an important distinction between long-context for retrieval and long-context for multi-step, generative reasoning.” — Gemini 2.5 Tech Report, Section 4.1 (Google DeepMind, 2025)

이 한 단락이 에이전트 전용 컨텍스트 산만을 가장 직접적으로 보고한 1차 문헌 진술이다. 기술 보고서가 이를 “anecdotal(일화적)“이라고 스스로 못 박은 점은 눈여겨볼 만하다. 체계적인 실험 설계가 아니라 관찰 기록이라는 뜻이기 때문이다.

3.2 1M vs. 100K — 광고와 현실의 갭

구분수치
Gemini 2.5 Pro 광고 컨텍스트 윈도1,000,000 토큰 (1M+)
에이전트 산만 발생 임계 (관찰)~100,000 토큰
갭 배율광고 대비 10% 수준에서 이미 산만 발생

pathfinder 도구가 종종 100K 이상의 토큰 컨텍스트에서 경로를 추론해야 했다는 점도 보고서에 적혀 있다. 에이전트가 경로 탐색 단계에서 이미 산만 임계를 넘나들고 있었던 셈이다.

4. 게임 완료 타임라인 — 두 번의 시도

timeline
    title Gemini Plays Pokémon 진행 타임라인
    section Run 1 (개발 빌드)
        2025-03-28 : 스트림 시작 (Gemini 2.5 Pro Exp 03-25)
        2025-05-02 : 게임 완료 (Hall of Fame 등록)
                   : 총 813 시간 경과
    section Run 2 (완성 빌드)
        2025-05-22 : 완전 자율 2회차 시작 (Gemini 2.5 Pro Preview 05-06)
                   : 최종 고정 에이전트 하네스 사용
        2025-~06   : 게임 완료
                   : 총 406.5 시간 경과 (1회차의 정확히 절반)

기술 보고서 원문 확인:

“Gemini 2.5 Pro completed the game after 813 hours and entered the Hall of Fame to become the Pokémon League Champion! On May 22, 2025, GPP began a fully autonomous 2nd run through the game with Gemini 2.5 Pro (Gemini 2.5 Pro Preview 05-06) with the finalized fixed agentic harness, and progressed through the game considerably faster, completing the game in 406.5 hours (nearly exactly half the time of the first run).” — Gemini 2.5 Tech Report, Section 4.1 (Google DeepMind, 2025)

Run 1은 개발 도중 하네스에 변경이 가해진 빌드이고, Run 2는 최종 확정된 자율 빌드다. 406.5시간은 컨텍스트 관리 개선까지 반영된 하네스 완성 이후의 수치이므로 두 값을 단순 비교하기는 어렵다. 개선이 컨텍스트 관리 하나에서 온 것인지, 다른 하네스 변경과 겹쳐 나온 것인지는 기술 보고서가 밝히지 않는다.

5. 실패 모드 해부 — 세 가지 핵심 패턴

5.1 컨텍스트 산만 (Context Distraction) — 반복 행동 고착

100K 토큰 임계를 넘으면 에이전트는 “새로운 계획을 합성(synthesizing novel plans)“하는 대신 “과거 히스토리에서 반복 행동을 선호(favoring repeating actions from its vast history)“했다. Drew Breunig(2025-06-22)이 명명한 컨텍스트 산만(Context Distraction)의 정의와 정확히 맞아떨어지는 사례다.

“Context Distraction is when a context grows so long that the model over-focuses on the context, neglecting what it learned during training.” — Drew Breunig, “How Contexts Fail and How to Fix Them” (2025-06-22)

에이전트가 방어적 루프에 빠지는 메커니즘은 이렇다. 수천 턴 누적된 액션 히스토리가 “이 상황에서는 이렇게 행동했다”는 패턴 집합으로 작동하면서, 모델의 어텐션이 훈련 때 내재화한 전략 지식보다 과거 히스토리의 반복 패턴 쪽으로 쏠린다. 그만큼 루프를 벗어날 창의적 해결책이 잘 나오지 않는다.

보고서는 이 루핑 문제(looping issue)를 컨텍스트 오염(context poisoning)과 가깝게 연결했다.

“These delusions… by virtue of poisoning the context in many places, can lead the model to ignore common sense and repeat the same incorrect statement.” — Gemini 2.5 Tech Report, Appendix 8.2 (Google DeepMind, 2025)

5.2 컨텍스트 오염 (Context Poisoning) — TEA 아이템 환각 사례

가장 상징적인 사례는 “TEA” 아이템 집착이다. Gemini 2.5 Pro는 Pokémon Red/Blue에는 없는 TEA 아이템을 반복해서 찾으러 다녔다. TEA는 FireRed/LeafGreen 리메이크에만 있는 아이템인데, 훈련 데이터에서 두 게임 버전이 뒤섞이는 바람에 생긴 훈련 데이터 오염(training data contamination)이다.

기술 보고서는 이렇게 적었다.

“Gemini 2.5 Pro at several points was deluded into thinking that it had to retrieve the TEA in order to progress, and as a result spent many, many hours attempting to find the TEA or to give the guard TEA.” — Gemini 2.5 Tech Report, Appendix 8.2 (Google DeepMind, 2025)

이 환각이 컨텍스트 여러 곳(goals, summary 등)에 “TEA 필요”로 기록되며 쌓이자 루프가 스스로 강화됐다. 한 번 컨텍스트에 자리잡은 오류 정보는 매우 오랜 시간이 지나야 풀린다는 점이 컨텍스트 오염의 핵심 위험이다. → 01 오염

Run 2에서는 그 대응으로 “게임을 처음 접하는 플레이어처럼 행동하고, 게임 이벤트·아이템 위치·포켓몬 출현에 대한 사전 지식을 무시하라”는 프롬프트를 넣었다. 효과는 부분적이었다. 일부 환각은 줄었지만, 공략 지식을 쓸 수 없게 되면서 특정 구간에서는 오히려 성능이 떨어졌다.

5.3 에이전트 패닉 (Agent Panic) — 스트레스 상황에서의 추론 붕괴

세 번째 실패 패턴은 패닉이다. 파티 포켓몬의 HP·PP(Power Points)가 낮아지는 스트레스 상황에서 에이전트는 “패닉 모드”에 빠졌다. 치료해야 한다는 생각을 거듭 되뇌면서 pathfinder 같은 기본 도구마저 잊어버렸다. 트위치 채팅 시청자들이 알아챌 만큼 행동 저하가 뚜렷했다.

flowchart LR
    subgraph Normal["정상 운영 (<100K 토큰)"]
        A1[새 상황 인식] --> A2[훈련 지식 + 히스토리 통합]
        A2 --> A3[새로운 계획 생성]
        A3 --> A4[도구 활용 + 실행]
    end
    subgraph Distracted["산만 상태 (>100K 토큰)"]
        B1[새 상황 인식] --> B2[방대한 히스토리에 과집중]
        B2 --> B3[과거 패턴 반복 선택]
        B3 --> B4[루프 / 패닉 / 도구 망각]
    end
    Normal -->|임계 초과| Distracted

6. 해결 시도와 한계

6.1 하네스 수준의 컨텍스트 관리

GPP 에이전트 하네스는 다음과 같은 컨텍스트 압축 메커니즘을 갖췄다.

  • 100턴마다 요약 정리: 액션 히스토리를 주기적으로 요약 압축한다.
  • 1000턴마다 재압축: 기존 요약들을 다시 압축하는 계층적 압축이다.
  • Guidance Gemini(25턴 주기): 독립 인스턴스가 주기적으로 컨텍스트를 비판 검토한다.

이런 장치를 두고도 100K 토큰에서 산만이 발생했다는 사실은, 단순한 요약 압축만으로는 에이전트 산만을 완전히 막을 수 없음을 말해 준다.

6.2 프롬프트 개입 — “사전 지식 무시” 지시

Run 2의 “disregard prior knowledge” 프롬프트는 부분적 효과에 그쳤다. 공략에 유용한 훈련 지식까지 억눌러 일부 구간에서는 역효과를 냈다. 훈련 데이터 오염 방지와 훈련 지식 활용 사이에 근본적인 트레이드오프가 있다는 뜻이다.

6.3 미해결 과제 — 기술 보고서의 인식

기술 보고서는 이 문제를 미해결 연구 과제로 명시했다.

“Teaching an agent to effectively plan and avoid such loops over massive past trajectories of context is an exciting and active area of research; the co-design of agent scaffolds and models to unlock the full potential of million-token context is an intriguing research direction and one of our primary focuses.” — Gemini 2.5 Tech Report, Section 4.1 (Google DeepMind, 2025)

1M 토큰 컨텍스트의 “잠재력 해제”는 2025년 시점에서 아직 미완성 연구 의제였던 셈이다.

7. 사례의 한계와 유의사항

7.1 “Anecdotal” — 기술 보고서의 자체 한계 명시

기술 보고서는 이 관찰을 명시적으로 “anecdotal(일화적)“이라고 표현했다. 인식론적으로 분명한 한계다.

  • 통제된 실험 설계가 아니다. 같은 조건에서 반복한 실험이 없다.
  • 산만의 원인이 컨텍스트 길이인지, 하네스 설계인지, 특정 게임 구간의 난이도인지 가려지지 않는다.
  • Run 1과 Run 2의 비교는 하네스 변경이 뒤섞여 있어 컨텍스트 관리 효과만 떼어 낼 수 없다.

7.2 “Pewter City 8시간 루프” — 출처 불명 세부 사항

일부 문헌이 인용하는 “Pewter City 뒷마당에서 8시간 동안 원을 그리며 갇혔다”는 구체적 에피소드는, Gemini 2.5 기술 보고서 본문과 Breunig의 두 포스트 어디에서도 같은 표현으로 등장하지 않는다. 두 문헌은 루핑 현상을 일반적으로 기술하며 context poisoning과 엮을 뿐, “Pewter City”, “뒷마당”, “8시간” 같은 구체적 표현은 쓰지 않는다. 트위치 방송 VOD나 커뮤니티 보고에서 나온 이야기로 보이므로, 1차 출처로 단정해 인용하지 않는 편이 안전하다.

7.3 모델 업데이트로 인한 재현성 한계

GPP는 Gemini 2.5 Pro의 여러 버전에 걸쳐 진행됐다(Exp 03-25, Preview 05-06 등). 이후 버전에서는 이 문제가 개선됐을 수 있다. 따라서 이 사례는 특정 스냅샷 시점의 Gemini 2.5 Pro 행동일 뿐, 최신 버전에 그대로 들어맞지는 않을 수 있다.

8. 에이전트 전용 벤치마크 등장 배경

GPP를 비롯한 에이전트 산만 관찰들은 기존 벤치마크가 구조적으로 맞지 않는다는 점을 드러냈다. NIAH(Needle-In-A-Haystack) 계열 벤치마크는 정적 검색 성능을 재는 데 반해, 에이전트 시나리오는 동적 다단계 추론을 요구하기 때문이다.

이에 대응해 에이전트 전용 장문 컨텍스트 벤치마크들이 나왔다.

벤치마크저자연도특징
RULERHsieh et al.COLM 2024복합 태스크(multi-hop, 집계) 포함, NIAH보다 난이도 높음
NoLiMaModarressi et al.ICML 2025표면 어휘 매칭 없는 잠재 연상 추론 측정
LOCA-benchZeng et al.2026에이전트 장문 컨텍스트 전용
AgentLongBenchFang et al.2026동적 정보 합성 vs. 정적 검색 구분

RULER 기준으로 Gemini-1.5는 128K까지 성능을 거의 유지했지만(96.7% → 94.4%), 에이전트 환경의 Gemini 2.5 Pro는 100K에서 이미 행동이 달라졌다. 정적 검색 벤치마크 성능과 에이전트 추론 성능은 별개 지표라는 점을 이 사례가 다시 확인해 준다.

9. 다른 실패 모드와의 관계도

graph LR
    CD["컨텍스트 산만<br/>Context Distraction<br/>(>100K 토큰에서 루프 고착)"]
    CP["컨텍스트 오염<br/>Context Poisoning<br/>(환각이 컨텍스트에 누적)"]
    CC["컨텍스트 혼란<br/>Context Confusion<br/>(무관 정보 간섭)"]
    CL["컨텍스트 충돌<br/>Context Clash<br/>(상충 정보 공존)"]

    CP -->|"오류 반복이 산만 가속"| CD
    CD -->|"루프 탈출 실패 → 오류 누적"| CP
    CC -->|"잡음 증가 → 임계 도달 빠름"| CD
    CL -->|"모순 해결 포기 → 과거 행동 반복"| CD

GPP에서 나타난 것은 컨텍스트 산만 하나가 아니라 산만과 오염이 겹친 복합 실패 모드였다. TEA 아이템 집착은 오염이 산만을 스스로 강화하는 전형적 패턴이다. → 01 오염, 03 혼란, 04 충돌

10. AI 강사/AX 컨설턴트를 위한 실천적 시사점

  1. “1M 컨텍스트 지원”이 곧 “1M 토큰에서 잘 작동”은 아니다. GPP는 1M 지원 모델이 100K에서 에이전트 행동 저하를 보인 직접 증거다. 에이전트를 설계할 때는 “광고 컨텍스트의 10%” 정도를 실질적 산만 임계의 출발점으로 잡는 편이 현실적이다.

  2. 에이전트 히스토리는 압축이 필수다. GPP처럼 100턴·1000턴 주기 압축을 넣고도 산만이 났다면, 슬라이딩 윈도우 요약, 중요 사건의 선택적 보존, KV 캐시 정리 같은 더 공격적인 압축 전략이 필요하다.

  3. 환각 방지와 훈련 지식 활용 사이의 트레이드오프를 의식하라. “사전 지식 무시” 프롬프트는 TEA 환각을 줄였지만 공략 효율도 떨어뜨렸다. 훈련 데이터 오염 위험은 낮추면서 유용한 도메인 지식은 살리는 균형 잡기가 까다롭다.

  4. 에이전트 전용 평가 기준이 필요하다. NIAH 점수가 높다고 에이전트 산만에 강한 것은 아니다. 프로덕션 배포 전에 RULER, AgentLongBench 같은 복합 태스크 벤치마크로 실효 컨텍스트 길이를 확인하라.

  5. 루프 감지 장치를 하네스에 내장하라. GG(Guidance Gemini)처럼 독립 비판 인스턴스를 두는 것도 유효하지만, 루프 패턴을 자동으로 감지하고 컨텍스트를 능동적으로 줄이는 프로그래매틱 안전장치를 함께 두는 편이 좋다.

참고문헌

그래프 뷰

백링크