상위: 06_00_MOC
에이전트 벤치마크 — τ-bench · SWE-bench · GAIA · WebArena · BFCL
한 줄 정의
에이전트 벤치마크(agent benchmark)는 모델이 여러 턴에 걸쳐 도구를 호출하고, 정책을 지키며, 실제 환경의 상태를 바꾸는 능력을 측정하는 평가 도구다. 단일 질의응답 정확도가 아니라 장기 과제 수행(long-horizon task completion) 을 재기 때문에, 컨텍스트가 길어지고 도구·정책·대화가 쌓일 때 생기는 혼란(confusion)·충돌(clash)·부패(context rot)를 정면으로 드러낸다.
왜 중요한가
벤치마크는 컨텍스트 엔지니어링의 계기판이다. 06장의 처방(Write·Select·Compress·Isolate)이 실제로 효과가 있는지, 멀티에이전트가 도움이 되는지(06_05-멀티에이전트-찬성-Anthropic-리서치시스템) 해가 되는지(06_06-멀티에이전트-반대-Cognition-DontBuild)를 가르는 근거는 결국 이 벤치마크 점수들이다.
핵심은 MMLU·HumanEval 같은 정적(static) 벤치마크와 에이전트 벤치마크가 재는 대상이 다르다는 데 있다. 정적 벤치마크는 “한 번에 정답을 내는가”를 보지만, 에이전트 벤치마크는 “10턴, 50번의 도구 호출, 8,000토큰의 정책 문서를 안고도 일을 끝내는가”를 본다. 후자에서 점수가 급락하는 지점이 바로 컨텍스트 실패모드가 터지는 지점이다. 강사나 컨설턴트가 “왜 데모는 되는데 프로덕션은 안 되는가”를 설명할 때 이 격차만큼 강력한 증거가 없다.
graph LR A["정적 벤치마크<br/>MMLU·HumanEval"] -->|"한 번에 정답?"| B["지식·단발 추론"] C["에이전트 벤치마크<br/>τ-bench·SWE-bench·GAIA"] -->|"여러 턴·도구·정책 누적"| D["장기 과제 수행<br/>= 컨텍스트 실패모드 노출"] D --> E["혼란·충돌·부패가<br/>점수로 가시화"]
1. τ-bench — 도구·대화·정책 준수 (Sierra)
논문: τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains (arXiv:2406.12045) 저자: Shunyu Yao, Noah Shinn, Pedram Razavi, Karthik Narasimhan — Sierra, 2024
1-1. 문제의식
기존 도구 사용 벤치마크는 에이전트가 단발성 명령을 처리하는 능력만 봤다. 그러나 현실의 고객 응대 에이전트는 시뮬레이션된 사용자와 대화하며 정보를 끌어내고, 도메인별 API 도구를 호출하며, 정책 가이드라인(policy)을 어기지 않고 지켜야 한다. τ-bench는 이 세 축을 동시에 시험한다. 도메인은 retail(소매)과 airline(항공) 두 가지다.
1-2. 측정 방법 — DB 상태 비교 + pass^k
평가는 대화가 끝난 뒤 데이터베이스의 최종 상태를 정답 상태(annotated target state)와 비교하는 방식이다. 텍스트 출력의 유사도가 아니라 “실제로 주문이 취소됐는가, 환불이 처리됐는가” 같은 세계 상태(world state)의 변화를 본다. 논문은 이를 “an efficient and faithful evaluation process”라 표현한다.
τ-bench가 도입한 핵심 지표는 pass^k(pass-hat-k)다. 일반적인 pass@k가 “k번 중 한 번이라도 성공하면 통과”인 것과 달리, pass^k는 같은 과제를 k번 시도해 k번 모두 성공할 확률을 잰다. 곧 신뢰성(reliability)과 일관성(consistency)의 척도다. 프로덕션에서 필요한 것은 “운이 좋으면 된다”가 아니라 “항상 된다”이기 때문이다.
1-3. 수치 — 일관성의 붕괴
| 모델 | 단일 시도 성공률 | pass^8 (retail) |
|---|---|---|
| GPT-4o | < 50% | < 25% |
“even advanced function-calling models like GPT-4o achieved less than 50% success rates on tasks, with pass^8 scores dropping below 25% in retail scenarios.” — Yao et al., τ-bench, 2024
핵심 교훈은 분명하다. 8번 반복하면 일관 성공률이 절반 아래로 떨어진다. 모델이 긴 정책 문서와 쌓인 대화 컨텍스트 속에서 매번 다른 결정을 내린다는 뜻으로, 03 혼란과 04 충돌의 직접 증거다. 단발 데모가 통과해도 프로덕션 신뢰성까지 보장되지는 않는다.
1-4. τ²-bench — 듀얼 컨트롤 확장 (2025)
논문: τ²-Bench: Evaluating Conversational Agents in a Dual-Control Environment (arXiv:2506.07982) 저자: Victor Barres, Honghua Dong, Soham Ray, Xujie Si, Karthik Narasimhan — 2025
τ-bench의 한계는 사용자가 수동적 정보 제공자에 머물렀다는 점이다. 그러나 기술 지원(technical support) 같은 현실에서는 사용자도 도구를 써서 공유 환경의 상태를 바꾼다(예: “고객님이 직접 라우터를 재부팅해 주세요”). τ²-bench는 이를 Dec-POMDP(분산 부분관측 마르코프 결정과정)로 모델링한 Telecom(통신) 도메인을 새로 추가했다.
“our experiments show significant performance drops when agents shift from no-user to dual-control, highlighting the challenges of guiding users.” — Barres et al., τ²-bench, 2025
핵심 발견은 이렇다. 에이전트가 모든 도구를 직접 쥔 환경(no-user)에서 사용자를 안내해야 하는 듀얼 컨트롤 환경으로 옮기면 성능이 크게 떨어진다. 사용자에게 무엇을 시킬지 소통하고 조율하는(communication/coordination) 능력이 별도의 실패 축인 셈이고, 논문은 추론(reasoning) 오류와 소통·조율 오류를 나눠서 측정한다.
2. SWE-bench — 실제 GitHub 이슈 해결 (Princeton)
논문: SWE-bench: Can Language Models Resolve Real-World GitHub Issues? (arXiv:2310.06770) 저자: Carlos E. Jimenez, John Yang, Alexander Wettig, Shunyu Yao, Kexin Pei, Ofir Press, Karthik Narasimhan — Princeton, 2023
2-1. 구성
- 2,294개 과제: 실제 GitHub 이슈와 거기 대응하는 Pull Request에서 뽑았다.
- 12개 인기 Python 저장소(django, scikit-learn, sympy 등)가 코드베이스다.
- 모델은 이슈 설명을 받아 코드베이스를 편집하는 패치(patch)를 만들어야 한다.
2-2. 측정 방법 — 단위 테스트(FAIL_TO_PASS)
평가는 LLM 판정이 아니라 실제 단위 테스트 실행이다. PR에 담긴 테스트 가운데 패치를 적용하기 전에는 실패하다가 적용 후 통과해야 하는 테스트(FAIL_TO_PASS), 그리고 기존에 통과하던 테스트가 여전히 통과하는지(PASS_TO_PASS, 회귀 방지)를 본다. 둘 다 만족해야 “resolve(해결)“로 친다.
“frequently requires understanding and coordinating changes across multiple functions, classes, and even files simultaneously.” — Jimenez et al., SWE-bench, 2023
여러 파일·함수·클래스에 걸친 변경을 조율해야 하니, 전체 저장소 컨텍스트를 어떻게 컨텍스트 창에 욱여넣느냐가 곧 점수다. 06_02-Select전략-RAG-하이브리드검색-ToolLoadout의 코드 검색·관련 파일 선별 문제와 바로 맞닿는다.
2-3. 수치 — 원본의 충격과 그 이후
“The best-performing model, Claude 2, is able to solve a mere 1.96% of the issues.” — Jimenez et al., 2023
2023년 원본 발표 당시 최고 모델(Claude 2)이 푼 비율은 단 1.96%였다. 이 숫자가 “LLM은 실제 SE 과제를 거의 못 한다”는 충격을 줬고, 이후 에이전트 스캐폴딩(agent scaffolding) 연구의 출발점이 됐다.
SWE-bench Verified(OpenAI, 2024-08)는 원본의 측정 잡음을 줄인 인간 검증 서브셋이다.
- 500개 과제를 93명의 계약 개발자가 한 건씩 검수했다.
- 검수 기준은 세 가지다. 문제 설명이 모호하지 않은가, 단위 테스트가 정답을 공정하게 채점하는가(지나치게 구체적이지 않은가), 주어진 시간 안에 풀 수 있는가.
Verified는 벤치마크 자체의 오염을 걷어낸 사례다. 원본 SWE-bench의 일부 과제는 테스트가 너무 구체적이라 정답 패치마저 오답 처리되거나, 문제 설명이 불충분해 애초에 풀 수 없었다. 벤치마크에도 컨텍스트 품질 문제가 있었던 셈이고, 인간 검증으로 이를 제거했다. 강사 입장에서 보면 “점수가 낮다 = 모델이 못한다”가 아니라 “측정 도구가 틀렸다”일 수도 있다는, 평가 회의주의의 교과서 사례다.
3. GAIA — 범용 AI 어시스턴트 (Meta)
논문: GAIA: a benchmark for General AI Assistants (arXiv:2311.12983) 저자: Grégoire Mialon, Clémentine Fourrier, Craig Swift, Thomas Wolf, Yann LeCun, Thomas Scialom — Meta, 2023
3-1. 구성과 철학
- 466개 질문(공개 리더보드용으로 300개는 비공개).
- 3개 난이도 레벨: Level 1(도구 몇 개·짧은 단계) → Level 2(다단계) → Level 3(장기·복합).
- 측정 능력은 추론(reasoning), 멀티모달리티(multi-modality), 웹 브라우징(web browsing), 도구 사용(tool-use)이다.
GAIA의 설계 철학은 역설적이다. 인간에게는 개념적으로 쉽지만 최첨단 AI에게는 어려운(conceptually simple for humans yet challenging for most advanced AIs) 질문을 일부러 만든다. 예컨대 “이 위키피디아 표에서 X 조건을 만족하는 행을 찾아 Y 열의 합을 계산하라” 같은 질문이다. 인간은 브라우저로 5분이면 하지만, AI는 웹 탐색·표 파싱·계산을 빠짐없이 이어 붙여야 한다.
3-2. 수치 — 인간 92% vs GPT-4 15%
“human respondents obtain 92% vs. 15% for GPT-4 equipped with plugins.” — Mialon et al., GAIA, 2023
77%p의 격차다. 법률·의학 같은 전문 시험에서 LLM이 인간을 앞서던 추세와는 정반대다. GAIA가 포착한 것은 전문 지식이 아니라 여러 단계를 흐트러뜨리지 않고 실행하는 견고함(robustness)이다. 단계가 길어질수록(Level 3) AI 성능이 무너지는데, 이는 05 부패가 예측하는 패턴 그대로다.
4. WebArena — 재현 가능한 웹 환경 (CMU)
논문: WebArena: A Realistic Web Environment for Building Autonomous Agents (arXiv:2307.13854) 저자: Shuyan Zhou et al. — CMU, 2023(개정 2024)
- 4개 도메인의 완전 기능 웹사이트: e-commerce(전자상거래), social forum(소셜 포럼), collaborative software development(GitLab류), content management(CMS). 단순 합성 화면이 아니라 실제로 작동하는 사이트를 셀프 호스팅해 재현성을 확보했다.
- 장기·다단계(long-horizon) 과제의 기능적 정확성(functional correctness)을 채점한다.
“our best GPT-4-based agent only achieves an end-to-end task success rate of 14.41%, significantly lower than the human performance of 78.24%.” — Zhou et al., WebArena, 2023
63.83%p 격차다. GAIA와 WebArena 모두 웹을 자유롭게 항해하며 일을 끝내는 과제에서 AI가 10%대에 머문다는 같은 신호를 보낸다. 쌓이는 HTML·DOM·이전 행동 기록이 컨텍스트 창을 채우면서 산만(distraction)과 부패가 함께 작동하는 탓이다(02 산만 참조).
5. BFCL — 함수 호출 정확도 (Berkeley)
Berkeley Function-Calling Leaderboard (BFCL)는 UC Berkeley Gorilla 팀이 운영하는 함수 호출 전용 리더보드다. 논문이라기보다 꾸준히 갱신되는 리더보드(v1~v4)에 가깝다.
- v3의 핵심: multi-turn·multi-step 함수 호출. 여러 턴에 걸쳐 컨텍스트를 유지하며 순차적 함수 호출을 관리하는 능력이다.
- 상태 기반 평가(state-based evaluation): 함수 실행 후 실제 API 시스템 상태를 검증한다(τ-bench의 DB 상태 비교와 같은 철학). 여기에 AST 매칭으로 구문 정확성도 본다.
- 4대 도전 유형: Base / Miss Func(필요한 함수가 없을 때 환각 방지) / Miss Param(파라미터 누락 시 되묻기) / Long Context(긴 컨텍스트에서의 함수 호출 견고성).
BFCL의 “Miss Func”는 03 혼란과 바로 이어진다. 도구 목록에 맞는 도구가 없는데도 억지로 호출하는 환각이 혼란 실패모드의 전형이다. “Long Context” 유형은 05 부패를 함수 호출 맥락에서 직접 측정한다.
6. 벤치마크 ↔ 컨텍스트 실패모드 매핑
| 벤치마크 | 1차 측정 대상 | 노출되는 실패모드 | 측정 방식 |
|---|---|---|---|
| τ-bench | 도구·대화·정책 준수 | 혼란·충돌(pass^k 붕괴) | DB 상태 비교 |
| τ²-bench | 듀얼 컨트롤 사용자 안내 | 소통/조율 실패 | Dec-POMDP 상태 |
| SWE-bench | 다파일 코드 패치 | Select 실패·과부하 | 단위 테스트(FAIL_TO_PASS) |
| GAIA | 범용 다단계 어시스턴트 | 부패·견고성 붕괴 | 정답 문자열 일치 |
| WebArena | 자율 웹 항해 | 산만·부패 | 기능적 정확성 |
| BFCL | 함수 호출 정확도 | 혼란(Miss Func)·부패(Long Context) | 상태 기반 + AST |
7. 측정의 한계 — 벤치마크를 의심하라
학습용으로 가장 중요한 절이다. 벤치마크는 만능이 아니다.
- 데이터 오염(contamination): SWE-bench의 GitHub 이슈·PR은 모델 학습 데이터에 들어갔을 수 있다. 모델이 추론이 아니라 암기로 푸는 위험이다. 새 버전과 홀드아웃 셋이 계속 필요한 이유다.
- 벤치마크 자체의 컨텍스트 결함: SWE-bench Verified가 그 사례다. 원본은 테스트가 지나치게 구체적이거나 문제 설명이 불충분해 정답마저 오답 처리됐고, 93명이 검수해 500개를 골라냈다. 낮은 점수가 모델의 무능이 아니라 측정 결함일 수 있다는 뜻이다.
- 포화(saturation)와 무의미화: OpenAI는 2025년 “SWE-bench Verified는 더 이상 프런티어 코딩 능력을 측정하지 못한다”며 평가 중단을 선언했다. 점수가 천장에 닿으면 변별력이 사라진다.
- 시뮬레이션 사용자의 한계: τ-bench·τ²-bench의 사용자는 LLM 시뮬레이터다. 실제 인간의 모호함과 변덕을 그대로 재현하지는 못한다. 사용자 시뮬레이터의 충실도(fidelity)가 곧 점수의 신뢰도다.
- pass@k vs pass^k 혼동: “k번 중 한 번 성공”(pass@k)과 “k번 모두 성공”(pass^k)은 전혀 다른 숫자다. 벤더가 어느 지표를 인용하는지 반드시 확인해야 한다. pass@k는 낙관적이고, pass^k가 프로덕션 현실에 가깝다.
컨설턴트 원칙: 벤치마크 점수를 인용할 때는 (a) 어느 버전, (b) 어느 지표(@k vs ^k), (c) 오염 통제 여부, (d) 측정 시점을 함께 밝힌다. 이 네 가지가 빠진 점수는 마케팅 숫자다.
요약·체크리스트
- 에이전트 벤치마크 = 장기 과제 수행 측정. 정적 벤치마크(MMLU)와 재는 대상이 다르다. 점수가 급락하는 지점이 곧 컨텍스트 실패모드.
- τ-bench: 도구+대화+정책. GPT-4o 단일 < 50%, pass^8 < 25%(retail). 일관성 붕괴 = 혼란·충돌.
- τ²-bench: 듀얼 컨트롤(사용자도 도구 사용). no-user→dual-control 전환 시 성능 급락 = 소통·조율 실패.
- SWE-bench: 2,294개 GitHub 이슈, 단위 테스트(FAIL_TO_PASS) 채점. 원본 Claude 2 1.96%. Verified 500개(93명 검수)로 측정 결함 제거.
- GAIA: 466문항·3레벨. 인간 92% vs GPT-4+플러그인 15% = 견고성 격차.
- WebArena: 4도메인 실제 웹사이트. GPT-4 14.41% vs 인간 78.24%.
- BFCL: 함수 호출 상태 기반 평가. Miss Func(혼란)·Long Context(부패) 직접 측정.
- 측정 한계 의심: 데이터 오염, 벤치마크 자체 결함, 포화, 시뮬레이터 한계, @k vs ^k 혼동. 버전·지표·오염통제·시점 4종 세트가 없는 점수는 믿지 말 것.
참고문헌
- τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains — Yao, Shinn, Razavi, Narasimhan (Sierra), 2024, arXiv
- τ²-Bench: Evaluating Conversational Agents in a Dual-Control Environment — Barres, Dong, Ray, Si, Narasimhan, 2025, arXiv
- SWE-bench: Can Language Models Resolve Real-World GitHub Issues? — Jimenez, Yang, Wettig, Yao, Pei, Press, Narasimhan (Princeton), 2023, arXiv
- Introducing SWE-bench Verified — OpenAI, 2024, 블로그
- GAIA: a benchmark for General AI Assistants — Mialon, Fourrier, Swift, Wolf, LeCun, Scialom (Meta), 2023, arXiv
- WebArena: A Realistic Web Environment for Building Autonomous Agents — Zhou et al. (CMU), 2023, arXiv
- Berkeley Function-Calling Leaderboard (BFCL) — Gorilla Team, UC Berkeley, 2024~, 리더보드