컨텍스트 부패의 분류학적 위치 — 오염·충돌·위치 편향과의 차별점

상위: 05_00_MOC

한줄 요지

컨텍스트 부패(Context Rot)는 길이 자체가 원인 변수인 실패모드다. 내용이 무해하고 검색이 완벽하며 비관련 토큰을 완전히 마스킹해도 성능 저하가 지속된다. 바로 이 점이 부패를 오염·충돌·위치 편향과 구별되는 독립 범주로 자리매김한다.

왜 이 분류가 필요한가

장문 컨텍스트를 다루다 보면 모델 성능이 떨어질 때 “나쁜 내용이 들어왔다”거나 “관련 정보가 잘못된 위치에 있다”고 짐작하기 쉽다. 이 직관이 틀린 것은 아니다. 다만 그 어느 요인도 없는 통제 상황에서도 성능은 저하되며, 이 사실은 2024~2025년 사이 여러 독립 연구에서 거듭 확인됐다.

이 노트는 컨텍스트 관련 실패모드를 네 범주로 구획하고 각 범주의 정의·유발 조건·대표 연구를 정리한다. 특히 컨텍스트 부패가 나머지 세 범주와 교차하거나 그것들을 증폭하면서도 어느 하나로 환원되지 않는 이유를 실험 증거로 짚는다.

1. 4대 실패모드 분류표

실패모드	주 원인 변수	핵심 정의	대표 연구
컨텍스트 부패 (Context Rot)	길이	토큰 수 증가 자체가 과제 복잡도와 무관하게 성능 저하 유발	Chroma (2025), Du et al. (2025), NoLiMa (2025)
컨텍스트 오염 (Context Contamination / Poisoning)	내용 — 외부 주입	악성·노이즈·허위 정보가 컨텍스트에 삽입되어 모델 출력을 왜곡	01 오염, Shi et al. (2023)
컨텍스트 충돌 (Context Conflict / Clash)	내용 — 내부 모순	컨텍스트 내 서로 상충하는 정보 조각이 공존하여 모델이 잘못된 정보를 선택하거나 출력을 불안정하게 생성	04 충돌
위치 편향 (Position Bias)	위치	관련 정보의 컨텍스트 내 위치가 성능을 결정 — 중간에 위치할수록 급격히 하락	Liu et al. (2023) — “Lost in the Middle”

분류의 핵심 원칙

이 네 범주는 저마다 독립 변수가 다르다.

오염과 충돌은 내용(content)의 질이 문제다. 내용을 바꾸거나 제거하면 원칙적으로 해결된다.
위치 편향은 정보의 공간적 배치(position)가 문제다. 같은 내용이라도 어디에 놓이느냐에 따라 결과가 달라진다.
컨텍스트 부패는 길이(length) 그 자체가 문제다. 내용이 완전히 무해하고 위치 설계가 최적화돼 있어도, 토큰 수가 늘어나는 것만으로 성능이 떨어진다.

graph TD
    A[컨텍스트 실패모드] --> B[컨텍스트 오염<br/>Context Contamination]
    A --> C[컨텍스트 충돌<br/>Context Conflict]
    A --> D[컨텍스트 부패<br/>Context Rot]
    A --> E[위치 편향<br/>Position Bias]

    B --> B1["원인: 내용 주입<br/>(외부 악성·노이즈)"]
    C --> C1["원인: 내용 모순<br/>(내부 상충 정보)"]
    D --> D1["원인: 길이 증가<br/>(내용 무관)"]
    E --> E1["원인: 위치 배치<br/>(중간 위치 불리)"]

    E -.->|부패의 하위 메커니즘| D
    B -.->|부패 증폭| D
    C -.->|부패 증폭| D

    style D fill:#ff6b6b,color:#fff
    style E fill:#ffa94d,color:#fff

2. 컨텍스트 부패 — 정의와 고유성

2.1 공식 정의

Chroma Research의 Kelly Hong, Anton Troynikov, Jeff Huber는 2025년 7월 발표한 보고서 “Context Rot: How Increasing Input Tokens Impacts LLM Performance”에서 이 개념을 공식화했다.

“LLMs do not maintain consistent performance across input lengths. Even on tasks as simple as non-lexical retrieval or text replication, we see increasing non-uniformity in performance as input length grows.”

— Chroma Research (2025)

이 정의의 핵심은 두 가지다.

과제 복잡도 통제: 길이가 늘어나도 문제 자체의 난이도는 고정돼 있다.
비균질적 저하: 성능은 선형으로 떨어지는 것이 아니라 불규칙하게, 그것도 모델마다 다른 임계점에서 무너진다.

2.2 무엇이 이 현상을 고유하게 만드는가

부패의 고유성은 두 가지 통제 조건에서 가장 또렷이 드러난다.

첫째, 내용이 완전히 무해할 때도 부패는 발생한다.

Chroma(2025)의 반복 단어(Repeated Words) 실험이 이를 극명하게 보여준다. 한 단어를 25~10,000번 반복한 시퀀스에서 unique word 하나를 찾아내는 과제로, 악의적 정보도 모순도 복잡한 의미 관계도 없다. 그런데도 토큰 수가 늘수록 18개 모델 전체에서 성능이 떨어졌다.

둘째, 검색이 완벽하고 비관련 토큰을 제거해도 부패는 지속된다.

Du et al.(2025, Findings of EMNLP 2025)의 실험 설계가 바로 이 지점을 정면으로 공략한다.

“Performance still degrades substantially (13.9%–85%) as input length increases but remains well within the models’ claimed lengths.”

— Du et al. (2025), arXiv:2510.05381

연구진은 두 가지 극단적 통제 조건을 적용했다.

공백 대체(whitespace replacement): 비관련 토큰을 의미 없는 공백으로 바꿔 “최소 방해” 상태를 만들었다.
완전 마스킹(full masking): 비관련 토큰을 완전히 마스킹해 모델이 관련 토큰에만 어텐션하도록 강제했다.

두 조건 모두에서 성능 저하가 이어졌다. 부패가 “비관련 콘텐츠의 잡음” 때문이 아니라 입력 길이 증가 자체에서 비롯된다는 것을 가장 강력하게 입증하는 증거다.

3. 컨텍스트 오염과의 비교

3.1 오염의 정의

컨텍스트 오염(01 오염)은 악성 지시, 허위 사실, 역할 재정의처럼 외부에서 주입된 문제적 내용이 모델 출력을 왜곡하는 현상이다. 프롬프트 인젝션, 웹 콘텐츠를 통한 간접 인젝션, 사용자가 실수로 끼워 넣은 노이즈 데이터 등이 전형적인 사례다.

Shi et al.(2023, ICML, arXiv:2302.00093)은 GSM-IC 벤치마크에서 의미적으로 유사한 비관련 정보가 있을 때 LLM의 수학 추론 성능이 급격히 저하됨을 처음으로 체계화했다. 성능을 가르는 핵심 변수는 “주입된 내용의 질”이라는 점을 보여준 연구다.

3.2 차이와 교차점

비교 항목	컨텍스트 오염	컨텍스트 부패
독립 변수	내용의 질(문제적 내용 존재 여부)	길이(토큰 수)
내용이 무해할 때	발생하지 않음	발생함
내용을 제거하면	해결됨	부분적으로만 완화
완전 마스킹 후	해결됨	지속됨 (Du et al., 2025)

두 현상은 교차하면서 서로를 증폭한다. 오염된 내용(이를테면 주제가 비슷한 비관련 문서)이 긴 컨텍스트에 섞이면 오염 효과와 부패 효과가 함께 작동해, 둘 중 하나만 있을 때보다 성능이 더 크게 떨어진다. Chroma(2025)의 디스트랙터 실험이 이를 보여준다. 디스트랙터 1개만 더해도 성능이 유의미하게 하락하고, 4개로 늘리면 더 나빠진다. 반면 같은 디스트랙터라도 컨텍스트가 짧으면 피해가 제한적이다. 부패가 오염의 피해를 키우는 구조인 셈이다.

NoLiMa(Modarressi et al., ICML 2025)의 디스트랙터 실험(Table 3, Figure 5)에서도 같은 패턴이 확인된다. GPT-4o의 effective length는 디스트랙터가 없을 때 8K였는데, 어휘가 겹치는 무관 문장 1개만 끼워 넣어도 1K로 급락했다.

4. 컨텍스트 충돌과의 비교

4.1 충돌의 정의

컨텍스트 충돌(04 충돌)은 컨텍스트 안에 서로 모순되는 정보 조각이 함께 있을 때 발생한다. 갱신된 정보와 오래된 정보가 뒤섞이거나, 멀티문서 RAG에서 출처마다 다른 사실을 제시하는 경우가 대표적이다. 이때 모델은 어느 정보를 우선할지 정해야 하고, 그 과정에서 오답이나 일관성 없는 출력이 나온다.

4.2 차이와 교차점

비교 항목	컨텍스트 충돌	컨텍스트 부패
독립 변수	내용 간 논리 관계(모순 존재 여부)	길이(토큰 수)
단일 정보만 있을 때	발생하지 않음	발생함
모순을 제거하면	해결됨	부분적으로만 완화

컨텍스트 부패는 충돌이 더 쉽게 일어나는 환경을 만든다. 긴 컨텍스트에서 모델의 정보 검색 정확도가 떨어지면, 상충하는 정보 가운데 어느 것이 관련 있는지 가려내는 능력도 함께 약해진다. Chroma(2025)의 LongMemEval 실험에서 Claude Sonnet 4가 정확한 날짜 정보가 full prompt에 분명히 적혀 있는데도 “날짜가 제공되지 않았다”고 답한 사례가 이를 보여준다. 정보가 있는데도 ‘찾지 못하는’ 것, 그것이 부패의 효과다.

5. 위치 편향과의 관계 — 부패의 하위 메커니즘

5.1 위치 편향의 정의와 U자형 곡선

Liu et al.(2023, “Lost in the Middle”, TACL 2024, arXiv:2307.03172)은 관련 정보가 컨텍스트의 어디에 놓이느냐가 성능을 좌우한다는 것을 체계적으로 증명했다.

핵심 발견은 이렇다. 관련 정보가 컨텍스트의 시작이나 끝에 있을 때 성능이 가장 높고, 중간으로 갈수록 급격히 하락하는 U자형 곡선이 나타난다. 저자들이 “Lost in the Middle”이라 이름 붙인 현상으로, GPT-3.5-Turbo, Llama, MPT-30B 모두에서 일관되게 확인됐다.

초두 편향(Primacy Bias): 컨텍스트 앞부분 정보에 더 높은 가중치를 둔다.
최신 편향(Recency Bias): 컨텍스트 끝부분 정보에 더 높은 가중치를 둔다.
중간 소실(Lost in the Middle): 중간에 놓인 정보는 제대로 검색되지 않는다.

5.2 위치 편향이 부패의 하위 메커니즘인 이유

위치 편향과 컨텍스트 부패는 독립 범주가 아니라 포함 관계다. 위치 편향은 부패를 일으키는 하위 메커니즘 가운데 하나다.

논리를 따라가면 이렇다.

컨텍스트 길이가 늘면 관련 정보가 중간에 놓일 확률이 높아진다.
중간에 놓인 정보는 위치 편향 탓에 검색하기 어려워진다.
이 위치 의존적 검색 실패가 길이 증가에 따른 성능 저하, 곧 부패의 한 경로가 된다.

다만 위치 편향이 부패의 유일한 메커니즘은 아니다. Du et al.(2025)은 관련 증거를 질문 바로 앞에 두어 위치를 최적화한 조건에서도 성능 저하가 나타남을 확인했다.

“Performance dropped when all relevant evidence is placed immediately before the question.”

— Du et al. (2025)

위치 편향을 완전히 통제해도 부패는 남는다는 뜻이다. 부패는 위치 편향을 품으면서도 그것을 넘어서는, 더 근본적인 길이 의존적 현상이다.

graph LR
    A[컨텍스트 길이 증가] --> B[관련 정보가 중간에<br/>위치할 확률 증가]
    A --> C[어텐션 메커니즘의<br/>전반적 노이즈 증가]
    A --> D[검색+추론 동시 수행<br/>인지 부하 증가]

    B --> E[위치 편향 발동<br/>중간 정보 소실]
    C --> F[의미 신호 희석<br/>Induction Head 실패]
    D --> G[추론 품질 저하<br/>Abstention 증가]

    E --> H[성능 저하<br/>= 컨텍스트 부패]
    F --> H
    G --> H

    style E fill:#ffa94d,color:#fff
    style H fill:#ff6b6b,color:#fff

6. Du et al.(2025) 완전 마스킹 실험이 분류학적 구분을 지지하는 이유

Du et al.(2025)의 실험 설계는 이 분류 체계의 핵심 논거를 제공한다.

6.1 실험 설계

연구진은 완벽한 검색(perfect retrieval) 조건에서 출발했다. 관련 정보가 반드시 컨텍스트에 들어 있도록 보장한 상태다. 여기서 비관련 토큰의 영향을 단계적으로 걷어냈다.

기준 조건: 관련 토큰과 비관련 토큰이 모두 들어간 긴 컨텍스트
공백 대체: 비관련 토큰을 공백으로 교체(길이는 그대로, 내용만 무해화)
완전 마스킹: 비관련 토큰을 마스킹해 모델이 관련 토큰에만 어텐션하도록 강제

6.2 결과의 분류학적 함의

조건	내용의 질	위치	길이	성능 저하
기준 (긴 컨텍스트)	비관련 포함	미최적화	길다	13.9~85%
공백 대체	무해	동일	길다	지속
완전 마스킹	없음	동일	길다	지속

공백 대체 조건은 오염(내용의 질)을 제거한다. 완전 마스킹 조건은 오염과 충돌을 사실상 모두 없애고, 모델이 관련 토큰만 보도록 강제해 위치 편향까지 최소화한다. 그런데도 성능 저하는 이어진다. 길이 자체가 성능 저하의 독립적 원인이라는 직접 증거이자, 컨텍스트 부패를 오염·충돌·위치 편향과 분류학적으로 갈라놓는 핵심 근거다.

7. 메커니즘 수준에서의 설명

7.1 어텐션 희석 (Attention Dilution)

NoLiMa(Modarressi et al., 2025)는 다음과 같이 설명한다.

“Our analysis suggests these declines stem from the increased difficulty the attention mechanism faces in longer contexts when literal matches are absent, making it harder to retrieve relevant information.”

— NoLiMa (2025)

트랜스포머의 어텐션 헤드는 표면적 반복 패턴(literal match)에 특화된 induction head 기제에 크게 기댄다. 의미적 연상이 필요한 경우엔 이 기제가 작동하지 않고, 긴 시퀀스 속에서 신호가 희석된다(Olsson et al., 2022 “In-context learning and induction heads” 참조).

7.2 검색+추론 동시 수행의 인지 부하

Chroma(2025)의 LongMemEval 실험은 또 다른 메커니즘을 시사한다. focused 입력(~300 토큰, 관련 정보만)과 full 입력(~113K 토큰, 전체 대화 이력)의 성능 차이는 단순히 “정보가 많아 찾기 어렵다”는 데 그치지 않는다. 긴 컨텍스트는 모델에게 “무엇이 관련 있는지 찾기”라는 과제를 추가로 떠안긴다. 그만큼 정작 목표로 삼은 과제(추론, 계산, 생성)에 쓸 처리 능력이 소모된다.

7.3 구조적 패턴의 역설적 방해

Chroma(2025)의 역직관적 발견, 즉 논리적으로 일관된 haystack보다 무작위로 뒤섞인 haystack에서 성능이 더 높게 나온 현상은 아직 메커니즘이 밝혀지지 않은 미해결 문제다. 연구진도 이를 “범위 밖”으로 두었다. 연속적인 의미 흐름이 어텐션을 needle이 아닌 다른 방향으로 끌어당긴다는 해석이 가능하지만, 이는 해석 가능성(mechanistic interpretability) 연구로 확인할 몫이다.

8. 실무적 시사점 — 분류를 어떻게 활용할 것인가

이 분류 체계가 실용적 가치를 갖는 이유는 실패모드마다 대응 전략이 다르기 때문이다.

graph TD
    P[성능 저하 발생]
    P --> Q1{내용에 문제가 있는가?}
    Q1 -->|외부 악성/노이즈 주입| F1[오염 대응<br/>인젝션 방어·필터링]
    Q1 -->|내부 모순 정보 공존| F2[충돌 대응<br/>정보 일관성 검증·RAG 재순위화]
    Q1 -->|내용은 무해| Q2{위치가 문제인가?}
    Q2 -->|중간 위치에 핵심 정보| F3[위치 편향 대응<br/>핵심 정보를 앞/끝으로 배치]
    Q2 -->|위치 최적화 후에도 지속| F4[부패 대응<br/>컨텍스트 최소화·증거 암송 기법]

    style F4 fill:#ff6b6b,color:#fff

8.1 오염에 대한 대응이 부패를 해결하지 못하는 이유

RAG 파이프라인에서 비관련 문서를 걸러내거나 청크 품질을 높이는 것은 오염을 줄이는 올바른 전략이다. 그러나 Du et al.(2025)이 보여주듯, 완벽하게 관련 있는 내용만 남겨도 컨텍스트가 길면 성능은 여전히 떨어진다. 오염 대응만으로는 부패를 해결할 수 없다.

8.2 위치 최적화가 부패를 해결하지 못하는 이유

Liu et al.(2023)의 발견에 따라 핵심 정보를 컨텍스트 앞이나 끝에 두는 전략은 유효하다. 그러나 Du et al.(2025)은 관련 증거를 질문 바로 앞에 둔 조건에서도 성능 저하가 나타남을 확인했다. 위치 최적화는 부패의 일부 경로, 즉 위치 편향 경로를 막아주지만 어텐션 희석이나 인지 부하 같은 다른 경로는 그대로 살아 있다.

8.3 부패에 특화된 대응 전략

컨텍스트 부패를 직접 겨냥하는 전략은 다음과 같다.

컨텍스트 최소화 원칙: Anthropic Engineering(2025)은 “Find the smallest set of high-signal tokens that maximize the likelihood of some desired outcome.”를 권고한다. 효율의 문제가 아니라 정확도의 문제다.
증거 암송(Evidence Recitation) 기법: 모델에게 관련 증거를 먼저 명시적으로 암송하게 한 뒤 문제를 풀도록 프롬프팅한다. Du et al.(2025) 기준 GPT-4o에서 최대 4% 개선됐다.
집중 입력(Focused Input) 설계: 전체 대화 이력 대신 현재 질문에 직접 관련된 정보만 추려 짧은 컨텍스트를 구성한다. Chroma(2025) LongMemEval 실험에서 focused 입력이 full 입력을 18개 모델 전체에서 앞섰다.

9. 미해결 논쟁점

위치 편향은 부패와 완전히 분리할 수 있는가? 위치를 완벽하게 통제해도 부패가 남는다는 Du et al.(2025)의 증거는 있지만, 위치 편향이 부패에 기여하는 정확한 비율은 아직 정량화되지 않았다.
오염과 부패의 상호작용은 얼마나 큰가? 오염된 내용이 없을 때의 부패 크기와, 오염과 부패가 함께 작동할 때의 효과 크기를 따로 떼어 측정한 연구는 아직 없다.
모델 크기가 커지면 분류학적 패턴이 달라지는가? NoLiMa(2025)는 모델이 커질수록 대체로 성능이 좋아지지만(8B→70B→405B) 부패 자체를 없애지는 못함을 보여준다. 다만 대형 모델에서 위치 편향의 크기가 달라지는지는 더 살펴봐야 한다.
추론 모델(thinking mode)은 이 분류 체계 안에서 어떻게 작동하는가? NoLiMa-Hard에서 GPT-o1은 32K에서 31.1%로 여전히 50%를 밑돈다. 확장 추론이 어텐션 희석과 인지 부하 가운데 어느 경로를 얼마나 완화하는지는 불분명하다.

참고문헌

Context Rot: How Increasing Input Tokens Impacts LLM Performance — Kelly Hong, Anton Troynikov, Jeff Huber, Chroma Research, 2025, 기술 보고서
Context Length Alone Hurts LLM Performance Despite Perfect Retrieval — Yufeng Du et al., Findings of EMNLP 2025, arXiv:2510.05381
Lost in the Middle: How Language Models Use Long Contexts — Nelson F. Liu, Kevin Lin et al., TACL 2024, arXiv:2307.03172
NoLiMa: Non-Literal Matching for Long-Context Evaluation — Modarressi et al., ICML 2025, arXiv:2502.05167
Large Language Models Can Be Easily Distracted by Irrelevant Context — Shi et al., ICML 2023, arXiv:2302.00093
RULER: What’s the Real Context Size of Your LLM? — Hsieh et al., COLM 2024, arXiv:2404.06654

형제 노트: 05_01-정의-Context-Rot · 05_03-실험-Chroma-벤치마크 · 05_04-메커니즘-어텐션-희석 · 05_05-대응전략-컨텍스트-최소화 관련 챕터: 01 오염 · 04 충돌 · 02 산만

컨텍스트 엔지니어링 실패모드 위키

탐색기