편안한 영역을 넘어 살짝 밀어보기: RLVR을 위한 효율적인 전략 유도 탐색

연구진은 RLVR을 위한 전략 유도형 탐색 방법 NudgeRL을 제안해, 다양한 추론 경로로 롤아웃을 유도했다.

이 방법은 가벼운 전략 수준의 컨텍스트와 컨텍스트 간·내 보상을 활용하고, 그 결과를 distillation으로 모델에 반영한다.

NudgeRL은 표준 GRPO보다 더 좋은 성능을 보였고, 5개 수학 벤치마크에서 oracle-guided 기준선에도 강한 결과를 냈다.

이번 연구는 RLVR의 핵심 한계인 탐색 부족을 더 효율적인 방식으로 해결하며, 고비용 브루트포스 롤아웃이나 특권적 감독 없이 추론 성능을 높인다.