상위: 03_00_MOC
AI 강사·AX 컨설턴트를 위한 현장 활용 가이드
이 노트의 목적
이론적 메커니즘(03_01-정의와-메커니즘)과 논문 수치(03_05-paper-rag-mcp 등)를 교육 현장과 기업 컨설팅 현장에서 바로 쓸 수 있는 형태로 정리한다.
교육 비유 1 — 공구함 (강의실 즉용)
상황: 나사 하나를 조여야 한다.
- 나쁜 경우: 150개 도구가 뒤섞인 공구함 앞에 선다. 드라이버를 찾느라 시간을 낭비하고, 엉뚱한 도구를 집을 확률도 높다.
- 좋은 경우: 드라이버·렌치·펜치 세 개만 추려 둔 공구함이 있다. 바로 작업에 들어간다.
연결: LLM 에이전트에게 150개 MCP 툴을 주는 것이 나쁜 경우다. RAG-MCP로 3~7개만 주면 좋은 경우가 된다.
교육 비유 2 — 신입사원 온보딩 (기업 강의용)
상황: 신입사원 첫날, 회사 전체 업무 매뉴얼 500페이지를 안기고 “지금 이 보고서를 작성하라”고 시킨다.
- 매뉴얼 500페이지가 있다고 해서 신입사원이 더 잘하지는 않는다.
- 지금 필요한 챕터 3개만 건네면 훨씬 빠르고 정확하게 처리한다.
연결: 컨텍스트에 무관한 정보를 넣는 일은 신입사원에게 읽지도 않을 매뉴얼을 쌓아주는 것과 같다.
교육 비유 3 — 회의실 화이트보드 (논증 시연용)
상황: 회의실 화이트보드에 이번 주 할 일 50개가 빼곡히 적혀 있다. 지금 당장 처리할 안건 하나를 논의하려 한다.
- 50개 항목이 한꺼번에 시야에 들어오면 집중력이 흩어진다.
- 지금 안건 하나만 남기고 나머지를 지우면 논의 품질이 올라간다.
연결: 매 스텝마다 CMTF로 필요한 툴 하나만 노출하는 전략이다(03_06-paper-cmtf-bor).
기업 도입 체크리스트
MCP 기반 에이전트 시스템 도입·운영 시 점검 항목:
설계 단계
- 현재 쓰는 MCP 서버별 컨텍스트 토큰 점유율 측정
- 총 40% 미만 규칙 준수 (EclipseSource 2026)
- 소형 모델(8B 이하) 에지 배포 시 툴 수 10~20개로 제한
- 태스크마다 “지금 이 스텝에서 정말 필요한 툴” 목록 작성 (관련성 ≠ 필요성)
- 멀티 도메인 에이전트는 서브에이전트 분리 아키텍처 검토
운영 단계
- 장기 실행 에이전트의 대화 이력 자동 프루닝·요약 구현
- “구조화된 컨텍스트가 항상 더 좋지는 않다”는 Chroma 역설 인지(의미상 유사한 툴 설명 블록이 오히려 어텐션 경합을 일으킬 수 있다)
- 잘못된 툴 호출 비율(wrong-tool-call rate)을 KPI로 측정
- RAG-MCP 폴백 메커니즘 설계
비용 관리
- 툴 정의 단독 토큰 비용 별도 집계
- RAG-MCP 적용 전후 비용 A/B 비교
비용 계산 템플릿 (현장 즉용)
| 변수 | 예시값 | 실제값 |
|---|---|---|
| MCP 서버 수 | 5개 | |
| 서버당 평균 툴 수 | 30개 | |
| 총 툴 수 | 150개 | |
| 툴 정의당 평균 토큰 | 400 | |
| 총 툴 정의 토큰 | 60,000 | |
| 모델 입력 단가 | $3/MTok | |
| 하루 에이전트 호출 수 | 10,000회 | |
| 툴 정의 일일 비용 | $1,800 | |
| RAG-MCP 절감율 | 50% | |
| 절감 후 일일 비용 | $900 | |
| 연간 절감 | $328,500 |
측정 가능한 KPI
컨텍스트 혼란 개선을 수치로 보여주기 위한 지표:
| KPI | 측정 방법 | 목표 |
|---|---|---|
| 툴 선택 정확도 | BFCL 기반 오프라인 평가 | 기준 대비 +50% 이상 |
| 컨텍스트 내 툴 정의 토큰 비율 | 요청당 툴 토큰 / 전체 입력 토큰 | 40% 미만 |
| 잘못된 툴 호출 비율 | 프로덕션 로그 분석 | 5% 미만 |
| 태스크 완료율 | 엔드-투-엔드 평가 | 최적화 전 대비 +15%p |
| 요청당 평균 입력 토큰 | 로그 집계 | RAG-MCP 적용 후 -50% |
논쟁점 — 강의 토론 주제
현장 강의에서 토론을 끌어내기 좋은 미해결 과제들이다.
-
컨텍스트 윈도우 확장이 해결책인가? GPT-4.1(1M)과 Gemini 2.5(2M)가 나왔어도 50K부터 이미 성능이 크게 떨어진다. “더 큰 창문이냐, 더 깨끗한 창문이냐”의 논쟁.
-
구조화냐 비구조화냐. Chroma(2025)는 논리적 구조가 무작위 배치보다 오히려 성능이 낮을 수 있다고 본다. 최적 구조의 설계 원칙은 아직 정립되지 않았다.
-
RAG-MCP 검색 오류 복구. 검색기가 잘못된 툴을 반환하면 작업 전체가 실패한다. 폴백 표준은 아직 없다.
-
소형 모델 임계값의 일반화. GeoEngine의 “19개”가 모델과 태스크에 따라 어떻게 달라지는지, 이를 예측하는 모델이 가능한지가 과제다.
-
혼란과 산만의 경계. 100K 이상 환경에서 두 모드가 함께 나타나면 진단적으로 구분하기 어렵다. → 02 산만
강의 슬라이드 구성 제안
| 슬라이드 | 내용 |
|---|---|
| 1 | 훅: “MCP 서버 10개 연결하면 더 강력한 에이전트가 될까?“ |
| 2 | 공구함 비유 — 직관 전달 |
| 3 | GeoEngine 실험 — 46개 vs 19개 극적 대비 |
| 4 | 토큰 점유율 표 — Playwright 22.2%, 150툴 30K-60K |
| 5 | 비용 계산 — $1,800/day의 충격 |
| 6 | RAG-MCP 시퀀스 다이어그램 — 해결책 시각화 |
| 7 | 관련성 ≠ 필요성 — CMTF의 핵심 명제 |
| 8 | 체크리스트 + KPI — 즉시 적용 가능한 액션 |
참고문헌
- How Long Contexts Fail (And How to Fix Them) — Drew Breunig, 2025, 블로그
- MCP and Context Overload: Why More Tools Make Your AI Agent Worse — EclipseSource, 2026, 블로그
- RAG-MCP: Mitigating Prompt Bloat in LLM Tool Selection via Retrieval-Augmented Generation — Gan & Sun, 2025, arXiv
- ToolChoiceConfusion: Causal Minimal Tool Filtering for Reliable LLM Agents — Babu & Iyer, 2026, arXiv
- Less Context, Better Agents — Lodha et al., 2026, arXiv
- Context Rot: How Increasing Input Tokens Impacts LLM Performance — Chroma Research, 2025, 리서치 리포트
- Managing context on the Claude Developer Platform — Anthropic, 2025, 공식 문서
형제 노트: 03_01-정의와-메커니즘 · 03_02-툴-과부하-MCP-실태 · 03_08-해결전략-less-is-more 타 챕터: 02 산만 · 06 해결전략 · 08 실전