볼트 홈: README
상위: 00_00_MOC
00 — 5대 실패모드 진단 퀴즈 노트
한 줄 정의
증상 하나만 보고 그것이 5대 실패모드(오염 Poisoning · 산만 Distraction · 혼란 Confusion · 충돌 Clash · 부패 Context Rot) 중 무엇인지 즉석에서 구분하는 자기점검 노트.
왜 중요한가
- 현장에서 마주치는 것은 이름표가 붙은 실패모드가 아니라 증상뿐이다. 에이전트가 이상하게 굴 때 손에 잡히는 것은 로그 한 줄, 반복되는 행동, 흔들리는 답이다.
- 5대 모드는 서로 혼동되기 쉽다. 특히 혼란과 산만(둘 다 “컨텍스트가 길거나 많아서 망가짐”으로 보인다), 오염과 충돌(둘 다 “잘못된 정보가 컨텍스트에 있음”으로 보인다)이 자주 뒤섞인다.
- 증상에서 모드를 짚어내는 능력이 현장 처방의 출발점이다. 모드를 틀리게 짚으면 처방도 어긋난다. 산만인데 Tool Pruning을 하거나 오염인데 Compaction만 돌리는 식이다. 분류에서 진단, 처방으로 이어지는 흐름의 첫 단추가 이 식별이다.
- 분류체계의 정의와 증거는 00_06-5대-실패모드-분류에 있다. 이 노트는 그 분류를 실제로 가려낼 수 있는지 점검하는 장치다.
감별 포인트 한 줄: 오염은 거짓이 반복 참조되고, 충돌은 서로 모순되는 정보가 공존하며, 혼란은 불필요한 것이 끼어든다. 산만은 길어진 탓에 과거 행동을 복제하고, 부패는 그저 길수록 전반적으로 나빠진다.
진단 퀴즈 (10문항, 5지선다)
각 문항은 증상 시나리오와 보기 5개(① 오염 ② 산만 ③ 혼란 ④ 충돌 ⑤ 부패)로 이루어지고, 접힌 영역 안에 정답과 해설, 해당 정의 노트로의 백참조를 담았다.
Q1.
에이전트가 게임 상태에 대해 한 번 잘못 적은 정보를 목표 섹션에 고정한 채, 존재하지도 않는 TEA 아이템을 300턴 넘게 추구하며 시간을 낭비한다.
① 오염 ② 산만 ③ 혼란 ④ 충돌 ⑤ 부패
정답·해설
정답: ① 오염 (Context Poisoning)
초기 환각이나 오류가 컨텍스트에 들어가 반복 참조되며 이후 추론의 전제로 굳은 전형이다. “잘못된 정보가 박혀서 그것을 계속 따라간다”가 핵심 신호다. 산만과는 다르다. 산만은 정보의 참거짓과 무관하게 히스토리가 길어진 탓에 과거 행동을 복제하는 쪽이다.
→ 정의: 01_01-정의-컨텍스트-오염 · 분류: 00_06-5대-실패모드-분류 · 챕터: 01 오염
Q2.
도구를 46개나 한꺼번에 주었더니 모델이 작업과 무관한 도구를 호출하거나 전부 실패한다. 같은 작업에서 도구 수를 줄이면 성공률이 올라간다.
① 오염 ② 산만 ③ 혼란 ④ 충돌 ⑤ 부패
정답·해설
정답: ③ 혼란 (Context Confusion)
불필요하거나 과다한 도구 정의가 모델을 엉뚱한 방향으로 끌고 간 경우다. “넣었으니 안 쓰면 그만”이라는 가정이 틀렸다는 신호다. 도구 개수처럼 불필요한 표면적이 원인이면 혼란이다.
→ 정의: 03_01-정의와-메커니즘 · 분류: 00_06-5대-실패모드-분류 · 챕터: 03 혼란
Q3.
광고와 문서가 잔뜩 든 100K 토큰 이상의 긴 컨텍스트에서, 모델이 새 계획을 세우기보다 과거 히스토리의 행동을 반복하기 시작한다.
① 오염 ② 산만 ③ 혼란 ④ 충돌 ⑤ 부패
정답·해설
정답: ② 산만 (Context Distraction)
컨텍스트가 너무 길어져 모델이 학습된 추론보다 컨텍스트 속 반복 패턴에 과집중하는 경우다. 100K 토큰 부근에서 새 계획을 합성하는 대신 과거 행동을 복제하기 시작하는 것이 특징적인 임계 신호다. 부패와는 결이 다르다. 산만은 행동 복제라는 구체적 양상이고, 부패는 전반적 성능 저하라는 더 넓은 현상이다.
→ 정의: 02_01-정의-컨텍스트-산만 · 임계점: 02_04-개념-산만-임계점 · 챕터: 02 산만
Q4.
멀티턴 대화에서 사용자 지시가 라운드마다 조금씩 갈라져 들어오고, 초반의 잘못된 응답이 컨텍스트에 남아 서로 모순되는 정보가 공존하자 답이 흔들리며 회복하지 못한다.
① 오염 ② 산만 ③ 혼란 ④ 충돌 ⑤ 부패
정답·해설
정답: ④ 충돌 (Context Clash)
새로 누적된 정보나 도구가 기존 정보와 충돌하는 경우다. 멀티턴 샤딩으로 모순이 쌓이면 길을 잃고 회복하지 못하는 것이 신호다. 오염과는 갈린다. 오염은 하나의 거짓이 반복 참조되는 것이고, 충돌은 둘 이상의 정보가 서로 모순된 채 공존하는 것이다.
→ 정의: 04_01-정의-컨텍스트충돌-4분류체계 · 경로: 04_02-메커니즘-5가지-충돌경로 · 챕터: 04 충돌
Q5.
특별히 거짓 정보나 모순이 없는데도, 세션이 길어질수록(입력 토큰이 늘수록) 제약 준수율과 정확도가 전반적으로 단조 하락한다.
① 오염 ② 산만 ③ 혼란 ④ 충돌 ⑤ 부패
정답·해설
정답: ⑤ 부패 (Context Rot)
거짓이나 모순, 불필요한 도구 같은 국소 원인 없이 순전히 입력 길이가 늘면서 전반적이고 비균일한 성능 저하가 일어나면 부패다. 다른 4개 모드의 기저에 깔린 구조적 현상이라, 딱히 짚이는 원인이 없는데 길수록 나빠진다면 부패를 의심한다.
→ 정의: 05_01-정의-컨텍스트-부패 · 분류: 00_06-5대-실패모드-분류 · 챕터: 05 부패
Q6.
RAG 검색 결과를 상위 50청크나 과다하게 붙였더니, 정작 정답에 필요 없는 청크 내용에 모델이 끌려가 답 품질이 떨어진다. 청크 수를 5개로 줄이자 좋아진다.
① 오염 ② 산만 ③ 혼란 ④ 충돌 ⑤ 부패
정답·해설
정답: ③ 혼란 (Context Confusion)
도구뿐 아니라 불필요한 문서 청크도 혼란의 원인이다. 관련 없는 내용이 끼어들어 저품질 응답을 만든다는 것이 핵심이다. 줄였더니 좋아졌다면 불필요한 정보량, 곧 표면적이 원인이었다는 증거다.
→ 정의: 03_01-정의와-메커니즘 · 챕터: 03 혼란
Q7.
연구 보조 에이전트가 한 번 만들어낸 잘못된 인용(존재하지 않는 논문)을 요약 노트에 적은 뒤, 이후 모든 답변에서 그 가짜 인용을 근거로 다시 끌어 쓴다.
① 오염 ② 산만 ③ 혼란 ④ 충돌 ⑤ 부패
정답·해설
정답: ① 오염 (Context Poisoning)
환각이 요약 노트라는 컨텍스트에 들어가 반복 참조되며 복리로 증폭된 경우다. 충돌(Q4)과 헷갈리기 쉽지만, 여기엔 경쟁하는 다른 정보가 없고 하나의 거짓이 전제로 굳어 계속 인용되므로 오염이다. 처방은 검증 레이어(Verification Layer)다.
→ 정의: 01_01-정의-컨텍스트-오염 · 처방: 01_09-처방-방어전략 · 챕터: 01 오염
Q8.
문서 1만 줄을 통째로 넣은 단발 작업에서, 거짓이나 모순, 불필요한 도구가 없는데도 앞부분 지시는 잘 지키다가 뒤로 갈수록 같은 제약을 잊는다. 입력을 짧게 자르면 다시 잘 지킨다.
① 오염 ② 산만 ③ 혼란 ④ 충돌 ⑤ 부패
정답·해설
정답: ⑤ 부패 (Context Rot)
국소 원인 없이 입력이 길어질수록 제약 준수가 무너지고 짧게 자르면 회복되는, 부패의 전형이다. 산만(Q3)과는 이렇게 가른다. 산만은 멀티스텝 히스토리에서 과거 행동을 복제하는 양상이 핵심이고, 여기선 단발의 긴 입력에서 전반적인 망각과 저하가 핵심이라 부패로 본다.
→ 정의: 05_01-정의-컨텍스트-부패 · 배경: 00_04-컨텍스트-로트-Context-Rot · 챕터: 05 부패
Q9.
사용자가 1턴에서는 “한국어로만 답하라”, 5턴에서는 “영어로 답하라”고 지시했는데 그 사이 컨텍스트에 두 지시가 모두 살아 있어, 모델이 한국어와 영어를 오가며 어느 쪽도 일관되게 지키지 못한다.
① 오염 ② 산만 ③ 혼란 ④ 충돌 ⑤ 부패
정답·해설
정답: ④ 충돌 (Context Clash)
서로 모순되는 두 지시가 컨텍스트에 공존하여 모델이 해소하지 못하는 경우다. 둘 다 참이지만 양립할 수 없으니 충돌이다. 혼란과는 갈린다. 혼란은 불필요한 정보가 문제고, 충돌은 서로 모순되는 정보가 문제다. 처방은 Context Isolation이나 지시 정리다.
→ 정의: 04_01-정의-컨텍스트충돌-4분류체계 · 챕터: 04 충돌
Q10.
긴 자율 루프 에이전트가 수백 스텝을 돌수록, 초기엔 잘 지키던 안전·포맷 제약 준수율이 꾸준히 하락한다. 특정 거짓 정보가 박힌 것도, 도구가 과다한 것도 아니며 단지 누적 컨텍스트가 계속 불어났다.
① 오염 ② 산만 ③ 혼란 ④ 충돌 ⑤ 부패
정답·해설
정답: ⑤ 부패 (Context Rot)
세션이 길어질수록 제약 준수율이 떨어지는데 국소 원인이 없으면 부패다. 다만 과거 행동의 반복 복제가 두드러진다면 산만이 함께 끼거나 더 우세할 수 있으니, 두 모드가 공존할 가능성도 함께 본다(분류 노트의 “실패모드 간 상호작용” 참조).
→ 정의: 05_01-정의-컨텍스트-부패 · 상호작용: 00_06-5대-실패모드-분류 · 챕터: 05 부패
요약·체크리스트
5문제 이상 틀렸다면 00_06-5대-실패모드-분류를 다시 정독하고, 각 정의 노트로 들어가 증거 사례를 확인하라.
| 모드 | 한 단어 신호 | 정의 노트 | 챕터 |
|---|---|---|---|
| 오염 Poisoning | 거짓이 반복 참조 | 01_01-정의-컨텍스트-오염 | 01 오염 |
| 산만 Distraction | 길어서 행동 복제 | 02_01-정의-컨텍스트-산만 | 02 산만 |
| 혼란 Confusion | 불필요한 게 끼어듦 | 03_01-정의와-메커니즘 | 03 혼란 |
| 충돌 Clash | 모순이 공존 | 04_01-정의-컨텍스트충돌-4분류체계 | 04 충돌 |
| 부패 Context Rot | 길수록 전반적 저하 | 05_01-정의-컨텍스트-부패 | 05 부패 |
자기점검 루틴(현장 처방 전 1분):
- 증상에서 국소 원인(거짓 정보, 모순, 불필요한 도구나 청크)을 먼저 찾는다. 있으면 오염·충돌·혼란이다.
- 국소 원인이 없고 단지 길어서 나빠지면 산만(행동 복제 양상)이나 부패(전반적 저하)다.
- 거짓 정보가 하나 박혀 반복되면 오염, 둘 이상이 모순되면 충돌로 가른다.
- 모드를 확정한 뒤에야 처방을 고른다(오염은 Verification, 산만은 Compaction, 혼란은 Tool Pruning, 충돌은 Isolation, 부패는 JIT·예산관리). 처방 매핑 근거는 00_06-5대-실패모드-분류와 00_07-4대-전략-Write-Select-Compress-Isolate에 있다.
이 노트의 시나리오에 등장하는 수치와 사례(300턴 TEA, 46→19 도구, 100K 토큰, 멀티턴 39% 저하, 300K~400K 부패 구간 등)의 출처는 분류 노트 00_06-5대-실패모드-분류의 “참고문헌”을 따른다.
참고문헌
- 이 노트의 사실 주장과 수치는 모두 00_06-5대-실패모드-분류에 정리된 출처를 따른다. Drew Breunig 2025-06-22; Gemini 2.5 Technical Report arXiv:2507.06261; LLMs Get Lost arXiv:2505.06120; Chroma Context Rot 2025-07-14; Less is More arXiv:2411.15399. 이 퀴즈 노트는 그 정의를 가려내는 연습 장치다.
관련 노트: 00_06-5대-실패모드-분류 · 00_07-4대-전략-Write-Select-Compress-Isolate · 01_01-정의-컨텍스트-오염 · 02_01-정의-컨텍스트-산만 · 03_01-정의와-메커니즘 · 04_01-정의-컨텍스트충돌-4분류체계 · 05_01-정의-컨텍스트-부패