Auto-Rubric을 보상으로: 암묵적 선호에서 명시적 멀티모달 생성 기준으로
Auto-Rubric as Reward: From Implicit Preferences to Explicit Multimodal Generative Criteria
TL;DR AI
1분핵심 요약
연구진은 비전-언어 모델에서 프롬프트별 평가 루브릭을 추출하는 Auto-Rubric as Reward(ARR)를 제안했다.
또한 루브릭 기반 판단을 이진 보상으로 바꾸는 Rubric Policy Optimization(RPO)을 함께 소개했다.
이 방법은 텍스트-투-이미지와 이미지 편집 벤치마크에서 기존 pairwise reward model과 VLM judge보다 더 나은 성능을 보였다.
해석 가능성이 높고 데이터 효율적인 멀티모달 정렬 방법으로, 편향과 reward hacking을 줄일 수 있다.