컨텍스트 엔지니어링 실패모드 위키

미해결 과제 및 논쟁점 — 신뢰 트레이드오프, RAG의 역설, 현실 조건 괴리

34 min read

상위: 01_00_MOC

미해결 과제 및 논쟁점 — 신뢰 트레이드오프, RAG의 역설, 현실 조건 괴리

컨텍스트 오염(context poisoning) 연구는 2024–2026년 사이 공격 기법 측면에서 빠르게 성숙했다. PoisonedRAG, AgentPoison, MemoryGraft, MINJA 같은 공격은 정량적 수치와 재현 가능한 실험 설계를 갖췄다. 반면 방어와 거버넌스 쪽은 아직 선명한 표준이 없다. 이 노트는 현장에서 실제로 논쟁이 이어지는 핵심 지점 네 가지와, 연구 공동체가 아직 합의에 이르지 못한 미해결 과제 다섯 가지를 짚는다.

AI 전문강사나 AX 컨설턴트가 이 논쟁점을 알아야 하는 이유는 단순하다. 현장에서는 “RAG를 쓰면 안전하다”, “에이전트 메모리가 있으면 맥락이 유지된다”는 식의 과도한 신뢰가 흔하고, 그 반대편에는 “LLM 에이전트는 해킹에 너무 취약하다”는 과잉 공포가 있다. 두 방향 모두 아래의 논쟁 구조를 모르는 데서 비롯한다.

논쟁 1 — 환각 방지 vs 이미 발생한 환각의 컨텍스트 유입 차단: 같은 문제가 아니다

문제의 소재

컨텍스트 오염을 처음 접한 사람이 가장 자주 저지르는 실수는 “환각을 줄이면 오염도 줄어든다”고 등치하는 것이다. 이 등식은 절반만 맞다.

환각(hallucination)은 출력 레이어(output layer)의 문제다. 모델이 잘못된 정보를 생성하지 못하게 막거나 사후에 검증하는 접근, 즉 RLHF, chain-of-thought 검증, factuality scoring, retrieval grounding은 모두 이 레이어를 겨냥한다.

반면 컨텍스트 오염은 저장 레이어(storage layer)의 문제다. 환각이 이미 발생한 뒤 그 결과물이 메모리·요약·목표 목록(goals list)에 기록되어 다음 추론의 전제(premise)로 굳어지는 현상이다. 이 시점에서는 환각 방지 기법이 아무 역할도 하지 못한다. 모델이 그 잘못된 정보를 환각이 아니라 “자신이 이전에 확인한 사실”로 받아들이기 때문이다.

flowchart TD
    A[LLM 추론 실행] --> B{환각 발생?}
    B -- "No" --> C[정상 출력 → 컨텍스트 기록]
    B -- "Yes" --> D[잘못된 출력]
    D --> E{환각 방지 레이어}
    E -- "탐지 성공" --> F[출력 차단 / 재시도]
    E -- "탐지 실패<br/>(이 경우가 문제)" --> G[오염된 정보가 컨텍스트에 기록]
    G --> H[다음 추론 사이클에서<br/>'신뢰된 사실'로 참조]
    H --> A
    style G fill:#e74c3c,color:#fff
    style H fill:#e74c3c,color:#fff

방어 레이어의 구조적 차이

레이어타깃대표 기법컨텍스트 오염 방어 효과
출력 검증환각 자체RLHF, factuality scoring, RAG grounding오염 예방에 간접 기여. 단, 탐지 실패 시 효과 없음
저장 게이팅기록 전 필터링Memory contracts, trust-aware retrieval직접 방어. 아직 표준화 미완
출처 추적기록 후 감사Provenance metadata, belief drift detection사후 탐지. 구현 복잡도 높음
실행 격리오염된 신념에 기반한 행동Dual LLM pattern, CaMeL피해 범위 제한. 오염 자체는 막지 못함

핵심은 이렇다. 환각 방지와 컨텍스트 오염 방지는 같은 직렬 파이프라인의 서로 다른 단계를 겨냥한다. 환각 방지가 아무리 잘 작동해도 탐지율이 100%가 아닌 이상 그 실패율만큼 오염이 쌓인다. 장기 실행 에이전트에서는 이 누적이 선형이 아니라 지수적으로 증폭되기도 한다(01_02-메커니즘-자기강화-루프 참조).

“Context Poisoning is when a hallucination or other error makes it into the context, where it is repeatedly referenced.” — David Breunig, 2025

이 정의가 핵심을 정확히 짚는다. 환각(“an error”)이 발생하는 것과, 그 환각이 컨텍스트에 “들어가는 것(makes it into)“은 서로 다른 사건이다.

논쟁 2 — 장기 메모리 신뢰 트레이드오프: 에이전트는 자신의 기억을 얼마나 믿어야 하는가

트레이드오프의 구조

장기 메모리를 가진 에이전트 시스템이 마주하는 가장 근본적인 설계 딜레마는 한 문장으로 정리된다.

에이전트가 자신의 과거 메모리를 신뢰할수록 오염에 취약해지고, 불신할수록 유용성이 떨어진다.

이것은 고쳐야 할 버그가 아니라 구조적 트레이드오프(structural trade-off)다. 이 긴장 관계를 가장 또렷하게 표현한 사람은 Michael Hannecke(2026)다.

“Agents trust their own memories implicitly. There’s no external source to validate against.”

에이전트가 메모리를 신뢰하는 이유는 그래야 작동하기 때문이다. 사용자 선호, 이전 대화 맥락, 수행한 작업의 결과가 모두 메모리에 저장되고, 에이전트는 이를 거듭 참조해 일관된 행동을 유지한다. 신뢰가 없으면 메모리는 쓸모가 없다.

문제는 바로 그 신뢰가 공격 표면(attack surface)이 된다는 데 있다.

graph LR
    subgraph 신뢰 높음["신뢰 높음 (Trust High)"]
        T1[일관성 유지]
        T2[맥락 지속]
        T3[장기 학습 가능]
        T4["오염에 취약 ⚠"]
    end
    subgraph 신뢰 낮음["신뢰 낮음 (Trust Low)"]
        L1[오염 저항성]
        L2["매 사이클 재검증"]
        L3["유용성 저하 ⚠"]
        L4[연속성 단절]
    end
    신뢰 높음 <-->|"트레이드오프"| 신뢰 낮음

메모리 계약(Memory Contracts) 개념의 등장과 미성숙 상태

이 트레이드오프를 풀어보려는 시도로 Hannecke(2026)는 메모리 계약(memory contracts) 개념을 제안한다. 에이전트가 믿어도 되는 것의 범위와 조건을 명세(specification)로 관리하자는 발상이다.

  • 허용 정보 카테고리(allowlisted information categories): 어떤 종류의 정보가 장기 메모리에 저장될 수 있는가
  • 출처 메타데이터(source provenance metadata): 정보의 출처, 주입 타임스탬프, 신뢰 레벨, 검증 상태
  • 만료 정책(expiration policies): 민감도에 따른 메모리 유효 기간
  • 업데이트 제약(update constraints): 보안상 중요한 컨텍스트가 우발적으로 수정되는 것을 막는 장치

다만 2026년 현재 이 개념은 아직 표준화되지 않았다. 메모리 계약을 지원하는 에이전트 프레임워크는 없고, 이를 구현한 API나 프로토콜도 없다. Hannecke 본인도 앞으로 필요한 인프라로 제시할 뿐 작동하는 구현을 내놓지는 않는다.

Lam et al.(2026)의 SSGM 프레임워크(arXiv:2603.11768)는 일관성 검증(consistency verification), 시간 감쇠 모델링(temporal decay modeling), 동적 접근 제어(dynamic access control)를 통해 메모리 계약에 가까운 거버넌스 구조를 제안하지만, 논문 스스로 “SSGM을 거버넌스 패러다임으로 위치시키며 구체적 구현 세부사항은 향후 작업으로 남긴다”고 명시한다.

실용적 시사점

현재 실무에서 이 트레이드오프를 다루는 방식은 크게 두 가지다:

  1. 세션 범위 제한: 메모리를 세션 수명으로 묶어 장기 오염 위험을 차단하는 대신 장기 학습 이점을 포기한다.
  2. 계층적 신뢰 구조: 시스템 프롬프트 > 검증된 사용자 지시 > 에이전트 추론 결과 > 외부 검색 결과 순으로 신뢰 계층을 부여한다. 단, 이 계층 자체가 오염되면 무력화된다.

두 접근 모두 근본적인 해결책이 아니라 완화(mitigation)에 그친다.

논쟁 3 — RAG의 구조적 역설: 환각 해결사가 오염 벡터가 되다

역설의 형성

RAG(Retrieval-Augmented Generation)는 LLM 배포의 사실상 표준(de facto standard)이 됐다. 근거 없는 생성의 한계를 메우려고 외부 지식 베이스에서 관련 문서를 검색해 컨텍스트에 끼워 넣는 방식이다. 설계 목적은 분명히 환각 감소였다.

그런데 Wei Zou et al.(2024)의 PoisonedRAG 연구(arXiv:2402.07867, USENIX Security 2025)는 이 구조가 정반대로 작동할 수 있음을 보였다.

“RAG systems rely on external knowledge retrieval to ground LLM responses. This dependency creates an exploitable weakness: if the knowledge base itself becomes compromised, the model’s outputs inherit those corruptions regardless of the model’s inherent capabilities.”

다시 말해, RAG가 LLM을 외부 지식에 의존하게 만든 바로 그 메커니즘이, 외부 지식을 오염시키는 공격의 레버리지가 된다.

flowchart TD
    U[사용자 쿼리] --> R[RAG 검색]
    R --> KB[(지식 베이스)]
    KB --> D{지식 베이스 무결성?}
    D -- "Clean" --> G[정상 컨텍스트 구성]
    D -- "Poisoned<br/>(5개 악성 텍스트)" --> P[오염된 컨텍스트 구성]
    G --> LLM_G[LLM 응답: 정확]
    P --> LLM_P["LLM 응답: 공격자 의도대로<br/>(ASR 90%)"]
    style P fill:#e74c3c,color:#fff
    style LLM_P fill:#e74c3c,color:#fff

공격 수치의 의미

PoisonedRAG의 핵심 수치는 수백만 건의 텍스트 데이터베이스에 악성 텍스트 5개만 넣고도 공격 성공률 90%를 달성했다는 것이다.

“PoisonedRAG could achieve a 90% attack success rate when injecting five malicious texts for each target question into a knowledge database with millions of texts.” — Zou et al. 2024

이 수치가 충격적인 이유는 비율이 아니라 절대량에 있다. 100만 건의 문서 중 5건이면 0.0005%다. 통상적인 데이터 품질 관리로는 이 수준의 이상을 잡아내기가 현실적으로 어렵다.

지식 베이스 무결성 검증 메커니즘의 부재

논문이 지적하는 구조적 문제는 공격 기법 자체보다 더 중요하다:

“existing studies mainly focus on improving accuracy or efficiency of RAG, leaving its security largely unexplored.” — Zou et al. 2024

RAG 연구는 대부분 검색 정확도, 지연 시간, 비용 최적화에 매달렸다. 지식 베이스로 들어오는 문서의 무결성(integrity)을 검증하는 장치는 표준 RAG 파이프라인 어디에도 없다. 문서가 벡터화되어 저장되는 순간, 그 출처와 신뢰도에 관한 정보는 대개 사라진다.

AgentPoison(Chen et al. 2024, arXiv:2407.12784) 역시 같은 구조적 취약점을 악용한다. 장기 메모리나 RAG 지식 베이스에 백도어 트리거를 포함한 악성 데모를 삽입하면, 트리거가 포함된 쿼리가 들어올 때 임베딩 공간에서 악성 데모가 우선 검색된다.

“AgentPoison achieves an average attack success rate higher than 80% with minimal impact on benign performance (less than 1%) with a poison rate less than 0.1%.” — Chen et al. 2024

0.1% 미만의 독소 비율로 80% 이상의 공격 성공률을 내면서 정상 성능 저하는 1% 미만이다. 바로 이 은밀함(stealth)이 탐지를 어렵게 만드는 핵심이다.

RAG 역설에 대한 현재의 대응

Tomás Murúa(Elasticsearch Labs, 2026)가 제안하는 운영 레벨 방어는 실용적이지만 한계가 있다:

  • 시간 기반 필터링 + 메타데이터 부스팅: 최신성은 확인하지만 악의적 삽입은 탐지 못함
  • 하이브리드 검색 + 리랭킹: 검색 품질 향상이지 무결성 검증이 아님

근본적인 해결은 지식 베이스 입력 파이프라인에 무결성 검증을 통합하는 것인데, 이는 아직 연구 단계다. 신뢰할 수 없는 출처에서 수집한 문서를 자동으로 격리하거나, 문서별 신뢰 점수를 검색 결과와 함께 LLM에 넘기는 아키텍처가 가능한 방향이지만 표준화된 구현은 아직 없다.

논쟁 4 — 학술 수치와 현실 배포 조건의 괴리: 위협을 얼마나 심각하게 봐야 하는가

이상 조건 vs 현실 조건

2025–2026년 메모리 오염 공격 논문들은 인상적인 수치를 내놓는다. MINJA는 주입 성공률 95%에 공격 성공률 70%, PoisonedRAG는 90%, AgentPoison은 80% 이상이다. 이런 수치를 그대로 인용하면 “에이전트 시스템은 사실상 전부 뚫린다”는 결론에 이른다.

Sunil et al.(2026, arXiv:2601.05504)은 이 결론에 제동을 건다. EHR(전자의무기록) 에이전트를 대상으로 MINJA 공격을 실험하면서, 이상적인 실험실 조건과 현실 배포 조건의 차이를 정량적으로 확인했다.

핵심 발견:

“realistic conditions with pre-existing legitimate memories dramatically reduce attack effectiveness” — Sunil et al. 2026

MINJA는 에이전트의 메모리가 비어 있거나 최소화된 상태(이상 조건)에서 주입 성공률 95%를 보인다. 하지만 실제 배포 환경의 에이전트는 이미 수많은 합법 메모리를 쌓아두고 있다. 새로 삽입된 악성 메모리가 검색 단계에서 경쟁해야 할 정상 메모리가 압도적으로 많고, 그만큼 공격 효과는 크게 떨어진다.

왜 이 괴리가 발생하는가

학술 논문의 실험 설계 관행이 이 괴리를 구조적으로 만든다:

조건학술 실험 설계실제 배포 환경
메모리 초기 상태비어 있거나 최소화대규모 합법 메모리 축적
쿼리 분포공격 트리거 포함 쿼리 집중대부분 평범한 일상 쿼리
사용자 행동단일 공격 시나리오다양하고 예측 불가한 사용 패턴
방어 환경방어 없음 또는 단순 방어다층 방어, 모니터링, 로깅
실험 기간단일 세션 또는 단기수주~수개월 장기 운영

위협 과장의 실용적 위험

위협이 과장되면 두 가지 문제가 생긴다.

하나는 과잉 방어로 인한 유용성 저하다. 메모리 오염 위험을 실제보다 크게 보면 장기 메모리를 통째로 끄거나 모든 외부 정보를 거부하는 식의 과잉 보수적 설계로 흐른다. 에이전트 시스템의 핵심 가치를 스스로 훼손하는 셈이다.

다른 하나는 잘못된 우선순위다. 이론적 ASR이 높은 공격에 방어 자원을 몰아주다 보면, 정작 현장에서 더 자주 일어나는 우발적 오염(01_02-메커니즘-자기강화-루프 참조)이나 세션 스코프 프롬프트 인젝션을 방치하게 된다.

Sunil et al.(2026)이 적응적 방어(adaptive defense)를 권하는 이유가 여기 있다. 위협 프로파일을 실제 배포 맥락에서 동적으로 평가하고, 방어 강도를 거기에 맞춰 조정하자는 것이다. 방어가 풀어야 할 과제는 이상적인 공격 시나리오를 막는 것이 아니라, 실제 운영 환경에서 합리적인 비용으로 위험을 관리하는 것이다.

수치 해석의 원칙

학술 논문의 ASR 수치를 현장에서 인용할 때 지켜야 할 원칙은 다음과 같다.

  • 실험 조건을 항상 함께 제시한다. “이상 조건에서 95%“와 “현실 조건에서 현저히 감소”는 떼어놓지 말아야 한다.
  • 방어 전제를 확인한다. 방어가 없는 베이스라인 조건인지, 특정 방어를 우회한 조건인지 구분한다.
  • 위협 모델을 명시한다. 어떤 공격자 능력(지식 베이스 쓰기 권한, 쿼리 조작 능력 등)을 전제하는지 밝힌다.
  • 전이 가능성을 검증한다. 특정 모델이나 시스템에서 나온 결과가 다른 맥락에서도 성립하는지 따진다.

미해결 과제 5가지

미해결 과제 1 — 오염된 메모리의 자동 탐지 표준 방법론 부재

현재 상태: 오염을 탐지하는 방법은 크게 두 가지다. (a) 메모리 내용의 이상 탐지(anomaly detection) — 통계적 기법이나 별도 분류 모델 사용. (b) 행동 기반 탐지 — 에이전트 출력이나 행동에서 이상 징후 탐지. 두 방법 모두 상당한 한계가 있다.

이상 탐지는 “정상 메모리”의 분포를 먼저 정의해야 하는데, 에이전트마다 태스크·도메인·사용 패턴이 달라 범용 기준을 세우기 어렵다. 행동 기반 탐지는 Hannecke(2026)가 짚었듯 근본적인 한계를 안고 있다.

“An agent acting on poisoned beliefs performs correct actions from its perspective, indistinguishable from proper operation.”

오염된 신념에 기반한 행동은 에이전트 관점에서는 완전히 정상이다. 외부 관찰자가 이를 “오염된 행동”으로 가려내려면 정답(ground truth)을 알아야 하는데, 그 정답을 에이전트보다 더 잘 아는 주체가 늘 존재한다고 가정할 수는 없다.

연구 방향을 보면, Lam et al.(2026)은 SSGM에서 메모리 통합 이전에 일관성 검증(consistency verification)을 수행하자고 제안한다. 새로 기록될 메모리가 기존 메모리 그래프와 논리적으로 들어맞는지 점검하는 것이다. 다만 오염이 기존 메모리 그래프 전체에 서서히 스며드는 경우(semantic drift)에는 효과가 제한적이다.

미해결 과제 2 — 다중 에이전트 환경에서의 오염 전파 경로 연구 부족

현재 상태: 기존 연구는 대부분 단일 에이전트 시스템을 다룬다. 그러나 실제 배포 환경에서 에이전트는 점점 더 다중 에이전트 시스템(multi-agent system) 안에서 협력한다. 오케스트레이터 에이전트가 여러 하위 에이전트를 조율하고, 하위 에이전트끼리 메시지를 주고받는 구조다.

이 구조에서 한 에이전트의 오염이 어떻게 번지는지는 연구가 거의 없다. 떠올릴 수 있는 전파 경로는 다음과 같다.

  • 오염된 하위 에이전트 → 오케스트레이터의 컨텍스트에 오염된 결과 전달
  • 오케스트레이터 메모리 오염 → 모든 하위 에이전트에 오염된 지시 전파
  • 공유 지식 베이스 오염 → 모든 에이전트의 RAG 결과 오염

Hannecke(2026)의 메모리 계약 개념을 다중 에이전트로 확장하면 “에이전트 간 신뢰 계약(inter-agent trust contracts)“이 필요해지지만, 이를 다룬 연구는 아직 없다.

미해결 과제 3 — 신뢰 점수(Trust Score) 할당 메커니즘의 미성숙

현재 상태: Sunil et al.(2026)은 “복합 신뢰 점수(composite trust scoring across multiple orthogonal signals)“를 방어 기제로 제안한다. 오래된 메모리일수록 신뢰도를 낮추는 시간 감쇠(temporal decay)와 패턴 기반 필터링을 결합한 방식이다.

발상은 합리적이지만 구현에는 핵심 난제가 있다.

“effective memory sanitization requires careful trust threshold calibration to prevent both overly conservative rejection…and insufficient filtering.” — Sunil et al. 2026

관건은 임계값 보정(threshold calibration)이다. 임계값이 너무 높으면(보수적이면) 정상 메모리까지 차단되어 유용성이 떨어지고, 너무 낮으면 오염이 그대로 통과한다. 이 임계값을 어떻게 정할지에 관한 범용 기준은 없다.

더 근본적으로는, 신뢰 점수를 계산하는 데 필요한 신호(signals) 목록부터가 도메인에 따라 다르다. 의료 EHR 에이전트에서 유효한 신뢰 신호와 코드 생성 에이전트에서 유효한 신뢰 신호가 같을 수 없다. 범용 신뢰 점수 프레임워크가 없다는 점이 표준화를 가로막는다.

미해결 과제 4 — Semantic Drift와 의도적 오염의 구별 기준 미확립

현재 상태: Lam et al.(2026)이 정의하는 semantic drift는 의도적 공격이 없어도 일어나는 자연적 지식 저하다. 요약을 반복하는 과정에서 미묘한 표현 변화가 쌓이고, 장기적으로는 원래 의미와 다른 신념이 자리 잡는다.

문제는 semantic drift의 결과물과 의도적 메모리 오염의 결과물을 현상만으로는 구별하기 어렵다는 데 있다. 에이전트가 잘못된 신념을 행동으로 드러낼 때, 그것이 자연적 편향이 쌓인 결과인지 공격자가 심은 것인지 가려낼 방법이 없다.

이 구별이 실무에서 중요한 이유는 대응 방식이 다르기 때문이다. semantic drift에는 주기적 메모리 재검증과 원본 소스 대조로 대응하고, 의도적 오염에는 포렌식 분석과 공격 경로 추적, 삽입된 내용 격리로 대응한다. 둘을 가르지 못하면 공격에 주기적 재검증만 하거나, 자연적 편향에 불필요한 포렌식을 돌리는 식으로 엉뚱한 대응을 하게 된다.

미해결 과제 5 — 오염된 메모리의 삭제 vs 교정 비교 연구의 미흡

현재 상태: 오염이 탐지됐을 때 쓸 수 있는 전략은 두 가지다. 삭제(deletion)는 오염이 의심되는 메모리 엔트리를 제거하고, 교정(correction)은 오염된 내용을 올바른 내용으로 덮어쓴다.

두 전략은 저마다 다른 리스크를 안는다.

전략장점단점
삭제오염 완전 제거 가능오염과 연결된 정상 메모리도 함께 손실 가능; 삭제 범위 결정 어려움
교정관련 맥락 유지교정된 내용이 올바른지 보장 어려움; 원래 오염이 교정을 통해 재삽입될 수 있음

어느 전략이 어떤 조건에서 더 효과적인지 비교한 연구는 없다. 실무에서는 대개 직관에 기대 결정한다. Lam et al.(2026)의 SSGM은 메모리 거버넌스 프레임워크를 제시하지만 삭제와 교정을 비교한 실험은 담지 않았다.

논쟁점과 미해결 과제의 연결 구조

graph TD
    N1["논쟁 1<br/>환각 vs 오염 경계"] --> U1["미해결 1<br/>자동 탐지 표준 부재"]
    N2["논쟁 2<br/>장기 메모리 신뢰 트레이드오프"] --> U3["미해결 3<br/>신뢰 점수 메커니즘 미성숙"]
    N2 --> U2["미해결 2<br/>다중 에이전트 전파 연구 부족"]
    N3["논쟁 3<br/>RAG 구조적 역설"] --> U3
    N3 --> U1
    N4["논쟁 4<br/>학술 수치 vs 현실 조건"] --> U4["미해결 4<br/>Semantic drift vs 의도적 오염 구별"]
    N4 --> U5["미해결 5<br/>삭제 vs 교정 비교 연구 미흡"]
    U4 --> U5
    U1 --> U4

논쟁과 미해결 과제는 서로 떨어져 있지 않다. 신뢰 점수 메커니즘이 미성숙한 탓에 RAG 역설을 실용적으로 풀기 어렵고, 자동 탐지 표준이 없는 탓에 semantic drift와 의도적 오염을 구별하지 못하며, 그 구별이 안 되니 삭제와 교정을 비교하는 연구도 제대로 수행하기 어렵다.

현장 AX 컨설턴트를 위한 논쟁 지형 요약

이 논쟁들을 실무 맥락으로 옮기면 세 가지 질문이 된다.

“우리 RAG는 안전한가?” — 논쟁 3의 관점에서 보면, 지식 베이스 입력 파이프라인에 무결성 검증이 없다면 안전하다고 말하기 어렵다. 동시에 논쟁 4의 관점에서 보면, 이론적 공격 성공률을 그대로 위협 수준으로 옮기는 것도 적절치 않다. 현실적인 위협 평가를 하려면 공격자가 지식 베이스에 쓰기 권한을 가질 가능성, 현재 지식 베이스의 문서 수, 모니터링 체계 유무를 함께 봐야 한다.

“에이전트에 장기 메모리를 줘야 하는가?” — 논쟁 2의 관점에서 보면, 메모리 계약 없이 장기 메모리를 주는 것은 신뢰 트레이드오프를 풀지 않은 채 위험을 떠안는 결정이다. 그렇다고 메모리 계약이 아직 미성숙하다는 이유로 장기 메모리를 포기하는 것 역시 과잉 보수적이다. 지금으로선 계층적 신뢰 구조와 세션 범위 제한을 함께 적용하면서, 메모리 계약 개념이 성숙해가는 흐름을 지켜보는 것이 최선이다.

“오염 방지에 얼마나 투자해야 하는가?” — 논쟁 1과 4의 관점에서 보면, 환각 방지와 컨텍스트 오염 방지는 서로 다른 레이어에 투자가 필요하다. 두 레이어 모두에 투자하되, 자동 탐지 표준이 없는 상황에서 오염 방지에만 과도하게 투자하면 검증하기 어려운 복잡성만 늘어난다. 로깅과 출처 추적을 아키텍처 초기부터 내장하는 것이 가장 비용 효율적인 출발점이다.

참고문헌

관련 노트

그래프 뷰

백링크