컨텍스트 엔지니어링 실패모드 위키

모델 크기별 툴 혼란 취약성 스펙트럼

6 min read

상위: 03_00_MOC

모델 크기별 툴 혼란 취약성 스펙트럼

핵심 명제

Drew Breunig(2025)의 지적대로 대형 추론 모델은 불필요한 컨텍스트를 걸러내는 능력이 꾸준히 좋아지고 있다. 반면 소형 모델은 다르다. 같은 수의 툴을 줘도 훨씬 빨리 무너진다.

이 비대칭은 AX 컨설팅에서 실무적인 의미를 갖는다. 비용을 줄이려고 소형 모델을 에이전트로 배포할 때는 툴 로드아웃(tool loadout)을 한층 더 깐깐하게 관리해야 한다.

모델 크기별 실증 데이터

소형 모델 — Quantized Llama 3.1 8B (GeoEngine 실험)

Breunig(2025)이 인용한 GeoEngine 벤치마크:

툴 수결과비고
46개 (전체)태스크 실패16K 컨텍스트 윈도우 내에서도 실패
19개 (제한)태스크 성공동일 윈도우 크기

“A quantized Llama 3.1 8B model failed with all 46 available tools but succeeded when limited to 19 tools—both within the model’s context window capacity.” — Breunig (2025)

여기서 실패 원인은 “윈도우 용량 초과”가 아니라 툴 선택 혼란 그 자체였다. 다만 19라는 숫자는 단일 모델·단일 태스크에서 나온 관찰치이므로, 절대적인 임계값으로 일반화해서는 안 된다.

중형 모델 — Claude Sonnet 4.6 (Repantis et al., 2026)

Repantis et al.(arXiv:2605.24660, 2026)의 BoR 실험:

조건툴 선택 정확도
5개 툴 제한93.1%
전체 툴 세트87.1%
중간 난이도, 5개76.8%
중간 난이도, 전체60.9%

중형 모델 역시 툴 수가 늘수록 취약해진다. 특히 중간 난이도 쿼리에서 격차(76.8% vs 60.9%)가 더 크게 벌어진다는 점을 눈여겨볼 만하다.

대형 모델 — Gemini 2.5 Pro (Chroma 연구 참조)

Chroma Research(2025)에 따르면 Gemini 2.5 Pro는 100K 토큰을 넘어서면 02 산만(Context Distraction) 상태로 넘어간다. 새 계획을 세우는 대신 과거 행동 패턴을 그대로 되풀이하는 현상이다. 대형 모델에도 결국 한계 임계값은 존재하는 셈이다.

시각화 — 모델별 취약성 스펙트럼

graph LR
    subgraph SM["소형 모델 (Quantized Llama 3.1-8B)"]
        A1["19개 이하<br/>태스크 성공"] 
        A2["46개 전체<br/>태스크 실패"]
    end
    subgraph MM["중형 모델 (Claude Sonnet 4.6)"]
        C1["5개 툴<br/>93.1% 정확도"]
        C2["전체 툴<br/>87.1% 정확도"]
    end
    subgraph LM["대형 모델 (Gemini 2.5 Pro)"]
        E1["100K 토큰 이하<br/>정상 계획 수립"]
        E2["100K 초과<br/>과거 패턴 반복"]
    end
    style A2 fill:#e74c3c,color:#fff
    style C2 fill:#f39c12,color:#fff
    style E2 fill:#e67e22,color:#fff
    style A1 fill:#2ecc71,color:#fff
    style C1 fill:#2ecc71,color:#fff
    style E1 fill:#2ecc71,color:#fff

에지 디바이스 배포 시 추가 고려사항

Paramanayakam, Karatzas, Anagnostopoulos, Stamoulis (arXiv:2411.15399, DATE 2025)의 에지 디바이스 실험:

  • 소형 모델을 에지 하드웨어에서 돌리며 툴 수를 선택적으로 줄이면:
    • 실행시간 최대 70% 단축
    • 전력 소비 최대 40% 절감
  • 파인튜닝 없이 “Less-is-More” 동적 선택 스킴만으로 얻은 결과다.
  • 에지 배포(온디바이스 AI, IoT 에이전트)에서는 배터리·지연 제약이 툴 수 관리와 곧바로 맞물린다.

실용 권고 — 모델 크기별 툴 수 가이드라인

모델 규모권장 최대 툴 수근거
소형(~8B, 양자화 포함)10~20개GeoEngine: 19개 이하 성공
중형(~30-70B)30~50개Repantis et al. 5개 최적, 실용적으로 30개 내외
대형(100B+)동적 선택 권장100K+ 토큰 시 Distraction으로 전환

이 수치는 참고 가이드라인이며 모델·태스크·도메인에 따라 달라질 수 있다.

참고문헌

형제 노트: 03_01-정의와-메커니즘 · 03_02-툴-과부하-MCP-실태 · 03_06-paper-cmtf-bor 타 챕터: 02 산만 · 06 해결전략

그래프 뷰

백링크