밀집 검색기(Dense Retriever)의 위치 편향은 내재된 것인가, 아니면 데이터로부터 학습된 것인가?

연구진은 8개의 사전학습된 dense retriever가 합성 학습 데이터의 위치 분포를 그대로 따라, 문서의 앞·중간·뒤에 놓인 증거를 선호하는 위치 편향을 학습한다는 점을 확인했다.

문서 내 위치를 균형 있게 배치해 학습시키자, 위치 인식 벤치마크에서 위치 민감도가 57%~87% 감소했다.

이 방식은 검색 성능도 경쟁력을 유지해, 품질 저하 없이 편향을 줄일 수 있는 실용적 해법으로 제시됐다.