왜 프로덕션 RAG 시스템은 규모가 커질수록 자신 있게 틀린 답을 내놓는가
Why production RAG systems give confident, wrong answers at scale
TL;DR AI
1분핵심 요약
프로덕션 RAG는 그럴듯하게 말해도 정작 필요한 근거를 못 찾으면 틀린 답을 낼 수 있다.
코퍼스가 커지고 메타데이터, 권한, 중복, 지연 제약이 늘면 단순 top-k 벡터 검색은 신뢰하기 어려워진다.
엔터프라이즈 RAG의 핵심 위험은 모델 품질보다 검색 품질이며, 빠진 문맥이 자신감 있는 오답으로 이어진다.
더 견고한 구조는 넓은 후보 검색, 초기 필터링, 다단계 reranking을 결합하는 방식이다.