증거 보정 쿼리 클러스터링을 통한 LLM 역량 포착
Capturing LLM Capabilities via Evidence-Calibrated Query Clustering
TL;DR AI
1분핵심 요약
연구진은 모델 비교 증거를 활용해 질의가 실제로 요구하는 LLM 능력별로 묶는 클러스터링 방법 ECC를 제안했다.
ECC는 제한된 모델 비교 데이터를 바탕으로 의미 임베딩을 보정하고, Bradley-Terry 프레임워크로 클러스터 프로필을 모델링한다.
이 방법은 사람 라벨 기반이나 임베딩만 사용하는 기준선보다 모델 능력 순위를 더 정확하게 추정했다.
또한 질의가 필요로 하는 능력에 더 잘 맞춰 downstream query routing 성능도 개선했다.
같은 주제
