검색 증강 생성 시스템을 위한 교차 어텐션 보정 중복 제거

연구진이 RAG 시스템용 중복 제거 기법 CACD(Cross-Attention Calibrated Deduplication)를 제안했다.

CACD는 cross-encoder 비교, attention entropy에서 도출한 정보 점수, 보존 청크의 다수결을 활용해 중복 청크를 걸러낸다.

SQuAD 1.1 검증 실험에서 CACD는 평균 약 9.75%의 청크를 제거했으며, cosine similarity 기반 필터링과 최강 기준선보다 더 빨랐다.

이 방법은 토큰 수준의 세부 정보를 더 잘 보존하면서 retrieval 오버헤드를 줄여 RAG 파이프라인 효율을 높인다.