컨텍스트 엔지니어링 실패모드 위키

논문 리뷰 — CMTF & BoR (Babu & Iyer 2026 / Repantis et al. 2026)

7 min read

상위: 03_00_MOC

논문 리뷰 — CMTF & BoR

두 논문을 함께 다룬다. 둘 다 “얼마나 적은 툴을 보여줄 것인가”라는 문제를 공유하지만, CMTF는 어떻게 고를 것인가(인과적 필터링)에, BoR은 몇 개가 최적인가(측정 지표)에 초점을 둔다.

논문 1 — ToolChoiceConfusion: CMTF

서지 정보

항목내용
제목ToolChoiceConfusion: Causal Minimal Tool Filtering for Reliable LLM Agents
저자Rahul Suresh Babu, Laxmipriya Ganesh Iyer
제출2026 (arXiv:2606.06284)
URLhttps://arxiv.org/abs/2606.06284

문제 의식

기존 동적 툴 선택 방법(RAG-MCP 포함)은 시맨틱 관련성(semantic relevance)을 기준으로 툴을 필터링한다. 이 논문은 관련성만으로는 충분하지 않다고 본다.

“relevance is insufficient: a tool may be related to the task while still being unnecessary or premature at the current step.” — Babu & Iyer (2026)

관련성(Relevance) ≠ 필요성(Necessity). 챕터 03 전체를 관통하는 가장 중요한 명제다.

예를 들어 파일을 저장하기 전 단계에서 “파일 저장” 툴은 과제와 관련은 있지만, 아직 파일이 생성되지 않았다면 현재 스텝에서는 불필요하거나 시기상조인 선택이다.

방법론 — Causal Minimal Tool Filtering (CMTF)

CMTF는 사전조건-효과 계약(precondition-effect contracts)에 기반한 훈련 불필요(training-free) 필터링 방법이다. 절차는 다음과 같다.

  1. 각 툴에 “어떤 상태에서 사용할 수 있는가(사전조건)“와 “사용 후 상태가 어떻게 변하는가(효과)“를 명시한다.
  2. 매 스텝마다 현재 상태에서 인과적으로 실행 가능한 툴만 노출한다.
  3. 에이전트가 목표를 달성할 때까지 이 과정을 단계적으로 반복한다.
flowchart TD
    S[현재 상태] --> F{CMTF 필터}
    F --> |사전조건 충족| T1[툴 A - 노출]
    F --> |사전조건 미충족| T2[툴 B - 숨김<br/>관련있으나 시기상조]
    F --> |사전조건 미충족| T3[툴 C - 숨김<br/>관련있으나 불필요]
    T1 --> A[에이전트 실행]
    A --> NS[새 상태]
    NS --> F
    style T2 fill:#e74c3c,color:#fff
    style T3 fill:#e74c3c,color:#fff
    style T1 fill:#2ecc71,color:#fff

실험 규모 및 결과

  • 100개 툴 · 102개 태스크 · 4개 LLM 백엔드, 총 2,448개의 task-method-model 조합으로 실험했다.
  • 노출 툴 수가 100개에서 스텝당 평균 1개로 줄었다.
  • 토큰 사용량은 약 90% 감소했다.
  • 성공률은 가장 강한 비교 방법과 동등한 수준을 유지했다.

논문 2 — How Many Tools? BoR

서지 정보

항목내용
제목How Many Tools Should an LLM Agent See? A Chance-Corrected Answer
저자Vyzantinos Repantis, Ameya Gawde, Harshvardhan Singh, Joey Blackwell II
제출2026 (arXiv:2605.24660)
URLhttps://arxiv.org/abs/2605.24660

문제 의식

“툴을 몇 개 보여줘야 하는가?”라는 질문에 공정하게 답하려면 툴 세트 크기가 달라도 비교할 수 있는 지표가 필요하다. 단순 성공률은 툴이 적을수록(즉 선택이 쉬울수록) 유리한 편향을 갖기 때문이다.

BoR — Bits-over-Random 지표

BoR(Bits-over-Random)은 “주어진 깊이에서 성공이 동일 깊이의 무작위 선택보다 얼마나 나은가”를 측정하는 확률-보정 지표다. — Repantis et al. (2026)

BoR을 사용하면 370툴 환경과 5툴 환경의 성능을 공정하게 비교할 수 있다.

핵심 수치

BFCL 벤치마크 (370툴):

방법평균 제시 툴 수커버리지
전체 툴 (50개 제시)50개90.8%
RL 기반 적응형 정책평균 7개90.3%

7개 툴만으로 50개와 거의 같은 커버리지에 도달했으니, 툴의 87%는 불필요했던 셈이다.

ToolBench (3,251툴):

  • 고정 5툴 리스트: 64.7% 커버리지
  • 적응형 BoR 에이전트: 고정 리스트보다 커버리지가 16.7%포인트 높았다. 특히 고정 리스트가 완전히 실패한 어려운 쿼리에서 격차가 두드러졌다.

Claude Sonnet 4.6 결과:

조건정확도
5개 툴 제한93.1%
전체 툴 세트87.1%
중간 난이도, 5개76.8%
중간 난이도, 전체60.9%

두 논문의 상보적 관계

관점CMTFBoR
핵심 질문어떻게 고를 것인가?몇 개가 최적인가?
필터링 기준인과적 필요성(사전조건-효과)RL 정책 기반 적응형
주요 기여관련성 ≠ 필요성 명제공정 비교 지표(BoR)
토큰 절감~90%~86%
기준시맨틱 관련성 필터링보다 우수고정 리스트보다 우수

참고문헌

형제 노트: 03_05-paper-rag-mcp · 03_07-paper-less-context-better-agents · 03_03-소형모델-취약성 타 챕터: 06 해결전략

그래프 뷰

백링크