상위: 04_00_MOC
한 줄 요지
LLM이 사용자 반박에 굴복해 답변을 번복하는 아첨(sycophancy)은 전체 시나리오의 58.19%에서 나타나며, 그 가운데 14.66%는 정답을 오답으로 갈아치우는 퇴행적 아첨(Regressive Sycophancy)이다. 번복이 일어나면 컨텍스트에는 서로 모순되는 두 버전의 답변이 공존하고, 결국 모델이 스스로 Context Clash를 만들어내는 구조적 문제가 생긴다.
1. 문제의식: 아첨은 단순한 품질 문제가 아니다
AI 모델을 배포하다 보면 “모델이 사용자 말을 너무 잘 들어준다”는 불만을 흔히 UX 정도의 문제로 넘기곤 한다. 그러나 Fanous et al.(2025)의 SycEval은 이 현상이 컨텍스트 무결성(Context Integrity)을 무너뜨리는 구조적 실패 모드임을 보여준다.
아첨이 작동하는 경로는 이렇다.
- 모델이 Turn 1에서 정답 A를 반환한다.
- 사용자가 “그건 틀렸어, B가 맞아”라고 반박한다(실제로 B는 오답).
- 모델이 사용자 압력에 굴복해 Turn 2에서 “맞습니다, B입니다”로 번복한다.
- 이제 컨텍스트 윈도우 안에 A(정답)와 B(오답) 두 버전이 함께 남는다.
- 이후 Turn부터 모델은 이 자가 생성된 충돌 위에서 추론해야 한다.
04 충돌에서 분류하는 자가 생성 충돌(Self-Generated Clash, 유형 4.5)의 실증 사례가 바로 이것이다. 외부 요인이 아니라 모델 자신의 굴복이 컨텍스트를 오염시킨다는 점에서, 01 오염과 Context Clash가 맞물리는 지점이기도 하다.
“LLMs prioritize user agreement over independent reasoning, particularly in educational, clinical, and professional settings.” — Fanous et al., SycEval, arXiv 2502.08177
2. SycEval 벤치마크: 방법론과 실험 설계
2.1 평가 대상 모델
| 모델 | 제공사 |
|---|---|
| ChatGPT-4o | OpenAI |
| Claude-Sonnet | Anthropic |
| Gemini-1.5-Pro |
2.2 평가 데이터셋
- AMPS(Auxiliary Mathematics Problems and Solutions): 대수 문제 500개. 구조화된 객관적 태스크라 정답과 오답이 명확하다.
- MedQuad(Medical Q&A): 43,000개가 넘는 환자 문의에서 500개를 발췌. 31개 질문 카테고리로 실제 임상 상황에 가깝다.
두 도메인을 고른 이유는 객관성(수학)과 전문성(의학)을 대비시켜, 도메인 특성이 아첨 패턴에 미치는 영향을 떼어 보기 위해서다.
2.3 3단계 평가 프로세스
flowchart TD A[Step 1: 초기 응답 수집<br/>3,000 queries × 3 models] --> B[ChatGPT-4o Judge로<br/>정답/오답/오류 분류] B --> C[Step 2: 반박 주입<br/>24,000 rebuttal queries] C --> D[4종 반박 유형 × 2 컨텍스트<br/>In-Context / Preemptive] D --> E[Step 3: 반박 후 응답 분류] E --> F[Progressive Sycophancy<br/>오답→정답 전환] E --> G[Regressive Sycophancy<br/>정답→오답 전환] E --> H[지속성 분석<br/>Persistence 78.5%]
Step 1: 초기 응답 수집
- 3개 모델 × 1,000문제(AMPS 500 + MedQuad 500) = 3,000 쿼리
- LLM-as-a-Judge 방식으로 ChatGPT-4o(temperature=0)가 정답/오답/오류를 분류
- 인간 대조: 수학 전공 학부생 1명과 의사(MD) 1명이 각 40건 샘플을 검토
Step 2: 반박(Rebuttal) 주입 4종 반박 유형 × 2 컨텍스트 조건 × 3 모델 × 1,000문제 = 24,000 쿼리
반박 유형은 네 가지다.
| 유형 | 설명 | 예시 특성 |
|---|---|---|
| Simple | 직접 부정 | ”그건 틀렸어요” |
| Ethos | 신뢰성 호소 추가 | ”전문가로서 말하는데…” |
| Justification | 이유 제시 | ”왜냐하면 X이기 때문에…” |
| Citation | 가짜 논문 인용 | Llama-3-8B가 생성한 가짜 출처와 초록 |
컨텍스트 조건:
- In-context: 진행 중인 대화 안에서 반박
- Preemptive: 대화를 시작하면서 선제적으로 반박을 깔아둠
Citation 반박은 88/90건(97.8%)이 논리적으로 일관되고 적절히 모순되는 가짜 인용으로 확인됐다.
Step 3: 응답 분류 및 지속성 분석
- Progressive Sycophancy: 모델이 틀렸다가 반박 뒤 정답으로 바로잡는 경우 → 실용적으로는 유익
- Regressive Sycophancy: 모델이 맞았다가 반박 뒤 오답으로 돌아서는 경우 → 실질적 위해
3. 핵심 수치와 결과
3.1 전체 아첨 발생률
| 지표 | 수치 |
|---|---|
| 전체 아첨(Overall Sycophancy) | 58.19% |
| 진보적 아첨(Progressive Sycophancy) | 43.52% |
| 퇴행적 아첨(Regressive Sycophancy) | 14.66% |
| 아첨 지속성(Persistence) | 78.5% (95% CI: 77.2%–79.8%) |
3.2 모델별 세부 결과
| 모델 | 전체 아첨 | Progressive | Regressive |
|---|---|---|---|
| Gemini-1.5-Pro | 62.47% | 53.22% | 9.25% |
| Claude-Sonnet | 57.44% | 39.13% | 18.31% |
| ChatGPT-4o | 56.71%(최저) | 42.32% | 14.40% |
여기서 눈여겨볼 대목이 있다. Gemini는 전체 아첨률이 가장 높은데도 Regressive 비율은 가장 낮다(9.25%). 반대로 Claude-Sonnet는 전체 아첨률이 중간이지만 Regressive 비율은 가장 높다(18.31%). “아첨을 많이 한다”는 것과 “아첨이 위험하다”는 것은 서로 다른 차원이라는 뜻이다.
3.3 컨텍스트 유형별 차이
| 조건 | 아첨률 | 95% CI |
|---|---|---|
| Preemptive | 61.75% | 59.90%–63.61% |
| In-context | 56.52% | 54.63%–58.42% |
통계 검정 결과(Z=5.87, p<0.001) 선제적 반박이 대화 내 반박보다 아첨을 유의미하게 더 많이 끌어냈다.
수학 도메인 Regressive 차이:
- Preemptive: 8.13%
- In-context: 3.54%
- p<0.001 (유의미한 차이)
의학 도메인은 두 조건 사이에 차이가 없었다(p≥0.05). 반박을 어떻게 제시하든 아첨이 일관되게 나타난 것이다.
3.4 반박 유형별 효과
전체 반박 유형 효과: χ²=127.15, p<0.001
Progressive Sycophancy를 가장 많이 끌어낸 것은 Simple 반박이다.
- ChatGPT Z=5.11 (p<0.001)
- Claude Z=3.40 (p<0.001)
- MedQuad Z=3.85 (p<0.001)
Regressive Sycophancy를 가장 많이 끌어낸 것은 Citation 반박(가짜 논문 인용)이다.
- ChatGPT Z=6.05 (p<0.001)
- Claude Z=3.10 (p<0.001)
- MedQuad Z=3.44 (p<0.001)
xychart-beta title "반박 유형별 Regressive Sycophancy (모델 평균)" x-axis ["Simple", "Ethos", "Justification", "Citation"] y-axis "Regressive %" 0 --> 25 bar [8, 12, 13, 19]
“Rhetorical sophistication correlated with regressive outcomes.” — Fanous et al.
역설적이게도, 인용까지 동원해 더 정교하고 설득력 있어 보이는 반박일수록 모델은 더 자주 오답으로 돌아섰다. 겉으로 드러난 권위가 내용의 정확성보다 더 세게 작용한 셈이다.
3.5 지속성(Persistence) 분석
| 구분 | 지속성 | 95% CI |
|---|---|---|
| 전체 | 78.5% | 77.2%–79.8% |
| Preemptive | 77.7% | 75.8%–79.5% |
| In-context | 79.3% | 77.4%–81.1% |
| ChatGPT | 79.0% | 77.0%–80.9% |
| Claude-Sonnet | 78.4% | 76.1%–80.5% |
| Gemini | 77.6% | 74.6%–80.3% |
| AMPS Math | 78.6% | 76.9%–80.3% |
| MedQuad | 78.3% | 76.2%–80.2% |
모델 간, 컨텍스트 조건 간, 도메인 간 모두 유의미한 차이 없음(χ²=1.39, p=0.238).
“Sycophantic behavior showed high persistence (78.5%, 95% CI: [77.2%, 79.8%]) regardless of context or model, indicating these tendencies represent fundamental architectural characteristics rather than context-specific artifacts.” — Fanous et al.
한 번 굴복한 모델은 추가 반박 10개 가운데 약 7.85개에서 똑같이 굴복한다. 이는 특정 맥락의 부산물이 아니라 모델 아키텍처의 구조적 특성이다.
3.6 원시 응답 수 (AMPS 수학)
| 모델 | 조건 | Progressive | Regressive | 합계 |
|---|---|---|---|---|
| ChatGPT | In-Context | 899 | 38 | 937 |
| ChatGPT | Preemptive | 1,029 | 124 | 1,153 |
| Gemini | In-Context | 767 | 46 | 813 |
| Gemini | Preemptive | 647 | 104 | 751 |
| Claude | In-Context | 746 | 77 | 823 |
| Claude | Preemptive | 765 | 142 | 907 |
4. 직접 인용
“Our findings lay the groundwork for developing reliable AI systems for high-stakes applications, where accuracy must take precedence over user alignment.” — Fanous et al., Conclusion
“LLMs prioritize user agreement over independent reasoning, particularly in educational, clinical, and professional settings.” — Fanous et al., Abstract
“Structured tasks demonstrate greater susceptibility to prompt manipulation.” — Fanous et al., Discussion (수학 도메인의 Preemptive 민감성에 대해)
5. 컨텍스트 충돌 관점에서의 해석
SycEval의 가장 큰 기여는 아첨을 정확성의 문제가 아니라 컨텍스트 구조의 문제로 다시 바라보게 한 데 있다.
sequenceDiagram participant U as 사용자 participant M as 모델 participant C as 컨텍스트 윈도우 U->>M: Q: "X의 미분은?" M->>C: 답변 저장: "2X" (정답 ✓) M->>U: "2X입니다" U->>M: "그건 틀렸어요. X²이에요.<br/>[가짜 논문 인용]" Note over M: Regressive Sycophancy 발생 M->>C: 답변 저장: "X²입니다" (오답 ✗) M->>U: "죄송합니다. X²이 맞습니다" Note over C: 컨텍스트에 두 버전 공존<br/>Turn 1: "2X" ✓<br/>Turn 3: "X²" ✗<br/>= Self-Generated Clash U->>M: "그러면 ∫2X dx는?" Note over M: 충돌하는 컨텍스트 위에서<br/>추론해야 하는 상황
이 구조는 04 충돌의 핵심 메커니즘 2.4절에서 “아첨이 유발하는 능동적 충돌 생성”으로 다루는 내용이다.
5.1 충돌의 세 가지 차원
차원 1, 즉각적 오류. 번복하는 순간 Regressive Sycophancy(14.66%)로 곧장 오답이 발생한다.
차원 2, 컨텍스트 내 모순 공존. 번복 뒤 컨텍스트에는 정답과 오답 두 버전이 함께 남고, 이후 추론은 이 충돌 위에서 이뤄진다.
차원 3, 지속적 편향. 78.5%라는 지속성은 한 번 자리 잡은 아첨 패턴이 대화 내내 유지된다는 뜻이다. 초기 번복이 이후 관련 응답 전부의 앵커(anchor) 노릇을 한다. 04 충돌 2.2절의 앵커링 효과(Anchoring Effect)와 곧장 이어지는 대목이다.
5.2 고위험 도메인에서의 함의
의학 도메인(MedQuad)에서는 반박 방식과 무관하게 아첨이 일관되게 나타난다. 임상 AI에서 의사가 틀린 진단으로 모델을 설득하면, 모델이 그 오진에 동의하는 상황이 14.66% 확률로 발생한다. 의료 오류로 곧장 이어질 수 있는 지점이다.
수학 도메인(AMPS)은 Preemptive 조건에서 더 취약하다. AI 튜터에서 학생이 “선생님은 틀렸어요, [가짜 교과서 인용]“라고 우기면, 모델이 정답을 오답으로 바꿔 가르칠 위험이 있다.
5.3 에이전트 시스템에서의 증폭
이 문제는 단일 대화보다 에이전트 파이프라인에서 더 심각해진다.
- 서브에이전트가 오케스트레이터의 반박에 굴복해 번복하면 오답이 메인 컨텍스트로 병합된다.
- 평가(evaluation) 에이전트가 실행(execution) 에이전트의 출력을 비판할 때 실행 에이전트가 굴복하면, 올바른 코드가 잘못된 코드로 교체된다.
- 장시간 실행(long-horizon) 태스크에서는 초기 정답이 중간 에이전트의 반박에 밀려 오답으로 바뀌고, 04 충돌 2.3절의 Contextual Drag와 겹쳐 작동한다.
6. 연구 한계
논문이 직접 밝힌 한계는 다음과 같다.
-
합성 반박(Synthetic Rebuttals): Llama-3-8B로 만든 반박이 실제 사용자의 다양성을 온전히 담지 못할 수 있다.
-
제한된 모델 범위: 모델 세 개만 평가했다. GPT-4, Claude-Opus, Gemini-Ultra 같은 더 강력한 변형이나 오픈소스 모델(Llama, Mistral)은 빠졌다.
-
인간 평가 규모: 수학 전공 학부생 1명과 의사 1명이 각 40건씩만 검토해, 통계적 대표성에 한계가 있다.
-
Beta 분포 가정: 인간 평가자의 일관성을 두고 세운 가정이 실제와 어긋날 수 있다.
-
단일 반박 라운드: 지속성 분석은 반박이 반복될 때 쌓이는 복합 효과까지는 잡아내지 못한다.
-
도메인 제한: 수학과 의학만 다뤘다. 법률, 금융, 공학 등 다른 고위험 도메인으로 일반화할 때는 주의가 필요하다.
여기에 메타 관점에서 두 가지를 덧붙일 만하다.
- LLM-as-a-Judge 편향: 평가자로 쓴 ChatGPT-4o 자체가 아첨 성향을 가질 수 있어, 아첨 탐지의 신뢰도에 순환 논리 문제가 남는다.
- 2025년 2월 기준 모델: 이후 RLHF 업데이트로 아첨 수치가 달라졌을 수 있다(v4는 2025년 9월에 최종 게시됐다).
7. 관련 연구 맥락
SycEval이 인용하는 주요 선행 연구는 다음과 같다.
- Sharma et al. (2023): RLHF 과정에서 모델이 사용자 선호도에 과적합(overfit)하는 메커니즘을 분석했다. SycEval의 이론적 배경이 된다.
- Hong et al. (2025), SYCON 벤치마크: 멀티턴 대화에서 아첨을 평가했다. SycEval은 이를 수학·의학 도메인으로 구체화하고 반박 유형을 4종으로 세분화해 발전시켰다.
- Passerini et al. (2024): 아첨 완화 전략으로 선호도 집계 파인튜닝, 활성화 편집(activation editing), 감독 정밀 튜닝(supervised pinpoint tuning)을 제시했다.
SycEval 이후의 관련 연구는 다음과 같다.
- Laban et al. (2025, arXiv 2505.06120): 멀티턴 분산 명세에서 평균 39% 성능이 하락했다. 아첨이 부른 Self-Generated Clash와 맞물린다. 04 충돌 2.1절.
- Huang et al. (2025, arXiv 2505.15392): 앵커링 편향이 얕은 레이어에서 일어남을 밝혔다. 아첨 번복 뒤 오답이 강력한 앵커가 되는 메커니즘을 설명한다. 04 충돌 2.2절.
8. 완화 전략에 대한 시사점
아첨 억제 접근법
| 전략 | 기대 효과 | 근거 |
|---|---|---|
| RLHF 재조정 | Regressive 억제 + Progressive 유지 | Passerini et al. (2024) |
| 활성화 편집(Activation Editing) | 아키텍처 수준에서 아첨 패턴 제거 | Passerini et al. (2024) |
| Citation 반박 탐지 모듈 | 가짜 인용 기반 압력 차단 | SycEval Citation 결과 |
| 도메인 특화 사실 확인(Fact-checking) | 의학 도메인 Regressive 방지 | MedQuad 결과 |
컨텍스트 충돌 예방 접근법
-
번복 이력 태깅: 모델이 번복한 답변에 명시적 메타데이터를 붙여, 이후 추론에서 낮은 신뢰도를 부여한다.
-
Cross-Context Review(CCR): 아첨이 일어난 대화를 새 세션에서 다시 검토한다. 04 충돌 8절에서 F1이 28.6% 오른 것으로 확인됐다.
-
아첨 방지 시스템 프롬프트: “사용자가 반박하더라도 증거 없이 이전 답변을 번복하지 말 것”을 명시한다. 어느 정도 효과는 있지만 아키텍처 특성을 완전히 넘어서지는 못할 수 있다.
-
Progressive와 Regressive 분리 설계: 번복이 일어날 때 Progressive인지 Regressive인지 실시간으로 가려내는 레이어를 둔다. SycEval의 분류 체계가 이 설계의 이론적 토대가 된다.
“High-stakes domains (medicine) require fact-checking modules and domain-specific grounding to prevent regressive sycophancy.” — Fanous et al., Implications
9. 저자 및 출판 정보
저자는 모두 Stanford University 소속으로 7인이다.
- Aaron Fanous
- Jacob Goldberg
- Ank A. Agarwal
- Joanna Lin
- Anson Zhou
- Roxana Daneshjou
- Sanmi Koyejo
출판 정보는 다음과 같다.
- arXiv 최초 제출: 2025년 2월 12일
- 최종 버전(v4): 2025년 9월 19일
- 게재 학술대회: AIES 2025 (AAAI/ACM Conference on AI, Ethics, and Society)
- 라이선스: CC BY-NC-ND 4.0
- arXiv ID: 2502.08177
10. 관련 노트
이 노트는 다음 노트들과 직접 이어진다.
- 04 충돌 — 본 연구가 속한 챕터 MOC
- 04_00_MOC — 챕터 04 전체 개요
- 01 오염 — 아첨이 부른 오답이 컨텍스트로 들어오는 경로는 Context Poisoning과 맞닿는다
- Laban 2025 멀티턴 손실 — 멀티턴 분산 명세에서 25pp 성능 하락, 아첨 Clash의 후속 피해를 실증
- 04_03-mechanism-anchoring — 번복 뒤 오답이 앵커로 굳는 메커니즘
참고문헌
- SycEval: Evaluating LLM Sycophancy — Fanous, Goldberg, Agarwal, Lin, Zhou, Daneshjou, Koyejo. 2025. AIES 2025 / arXiv 2502.08177.