상위: 04_00_MOC

[논문] Lost in the Middle: 위치 편향이 충돌 해소를 방해하는 원리 (충돌 챕터 관점)

실험 설계, U자형 수치, 메커니즘(decoder-only 인과 어텐션, RoPE 거리 감쇠, 계열 위치 효과), 후속 연구는 정본 02_06-paper-lost-in-the-middle에 정리돼 있다. 이 노트는 04 충돌 챕터의 고유 관점, 곧 위치 편향이 충돌 해소를 어떻게 가로막는지만 다룬다.

한 줄 정의

LLM은 관련 정보가 컨텍스트 중간에 있을 때 성능이 급락한다(Liu et al., TACL 2024). 충돌 챕터의 관점에서 이 발견의 핵심 함의는, 올바른 수정 정보가 컨텍스트 중간에 놓이면 충돌 해소가 실패한다는 것이다.

왜 중요한가

04 충돌는 모순되는 정보가 한 컨텍스트에 공존할 때 모델이 어느 쪽을 따르는가의 문제다. Lost in the Middle은 이 선택을 내용의 정확성이 아니라 위치가 크게 좌우한다는 것을 보여준다. 처음과 끝의 오류 정보는 높은 어텐션을 받고 중간의 올바른 수정 정보는 낮은 어텐션을 받으니, 충돌 상황에서 모델은 위치상 유리한 틀린 정보를 따라가게 된다.

충돌 관점 — 위치 편향 × 충돌 복합 실패

전형적 충돌 시나리오:

컨텍스트 처음: 오래된 잘못된 정보 (예: RAG가 가져온 구 버전 문서)
컨텍스트 중간: 올바른 최신 정보 (예: 수정 지시문 또는 새 문서)

이때 모델은 중간의 올바른 정보를 제대로 활용하지 못한 채 처음의 잘못된 정보를 따른다. 앵커링 효과(anchoring)와 위치 편향이 함께 작용하는, 가장 위험한 시나리오다.

graph TD
  A["컨텍스트 시작<br/>오류 정보 A<br/>예: 구 버전 RAG 문서"] -->|높은 어텐션| D[모델 출력]
  B["컨텍스트 중간<br/>올바른 정보 B<br/>예: 수정 지시문"] -->|낮은 어텐션<br/>Dead Zone| D
  C["컨텍스트 끝<br/>오류 정보 C 또는 추가 맥락"] -->|높은 어텐션| D
  D --> E["오류 정보 A 기반<br/>잘못된 답변 → 충돌 해소 실패"]

멀티턴에서의 이중 실패

멀티턴 대화에서 초기 턴의 잘못된 답변(앵커링 효과)이 컨텍스트 처음에 고착되고 이후 올바른 수정 정보가 중간에 끼어들면, 두 가지 실패가 겹친다.

초기 오답이 처음 위치에 놓여 높은 어텐션을 받는다 (앵커링)
올바른 수정 정보는 중간 위치라 낮은 어텐션을 받는다 (Lost-in-Middle)
결국 충돌 해소가 이중으로 실패한다

Laban et al.(2025)의 샤딩 실험이 보인 성능 하락의 일부는 이 복합 효과에서 기인한다. 관련: 멀티턴 샤딩 성능 하락(Laban 2025).

Morph(2025)의 “30% 이상 하락” 수치 원천

Morph(2025)가 인용한 “관련 문서가 위치 5–15에 있을 때 위치 1·20 대비 30% 이상 성능 하락”은 Liu et al.(TACL 2024)의 20-문서 설정 결과(처음 ~80% → 중간 ~52.9%)에 바탕을 둔 보수적 인용이다. 절대값으로 약 27포인트, 상대값으로 약 34% 하락에 해당한다. 수치 상세는 정본을 참조하면 된다.

충돌 완화로의 응용

올바른 정보를 처음과 끝에 배치한다. 수정 지시문, 최신 사실, 우선순위 높은 정보는 중간에 두지 않는다.
중간 위치 정보를 프루닝한다. 충돌 소지가 있는 중간 정보는 주기적으로 정리한다 → 컨텍스트-프루닝
짧은 컨텍스트를 선호한다. 컨텍스트가 길수록 “중간” 데드존이 넓어져 충돌 해소가 어려워진다.

요약·체크리스트

충돌하는 정보 중 “올바른” 쪽을 처음·끝에 배치했는가
앵커링(처음 고착 오답) × 중간 매몰(수정 정보)의 이중 실패를 점검했는가
중간 위치 충돌 후보를 프루닝/요약으로 제거했는가
실험·수치·메커니즘 전체는 정본 02_06-paper-lost-in-the-middle 참조

참고문헌

Lost in the Middle: How Language Models Use Long Contexts — Liu, Lin, Hewitt, Paranjape, Bevilacqua, Petroni, Liang. TACL 2024, Vol.12 pp.157–173, MIT Press. DOI: 10.1162/tacl_a_00638 (arXiv 최초 공개 2023-07)
ACL Anthology 페이지 — TACL 2024 공식 게재본
Context Rot (Morph, 2025) — “30% 이상 하락” 수치 인용 원천 (positions 5–15 vs position 1/20 비교)

컨텍스트 엔지니어링 실패모드 위키

탐색기

[논문] Lost in the Middle: 위치 편향이 충돌 해소를 방해하는 원리 (Liu et al., TACL 2024)