우선순위 랭킹을 통한 Harness Optimizer의 직접 평가를 향하여

연구진은 하니스(harness) 구성요소를 우선순위로 랭킹하는 방식이 옵티마이저 역량을 직접 측정하는 방법이라고 제안했다.

이 방법은 인간 검증을 거친 182개 시나리오로 구성된 Shor 데이터셋으로 검증됐다.

실험 결과, 랭킹 성능은 실제 다단계 최적화 성과와 높은 상관을 보였다.

최종 결과만 보는 것보다 저렴하고 진단력이 높은 옵티마이저 평가 지표를 제시한다.