NVIDIA AI, PivotRL 공개: 에이전트 정확도 향상과 롤아웃 턴 4배 절감
NVIDIA AI Introduces PivotRL: A New AI Framework Achieving High Agentic Accuracy With 4x Fewer Rollout Turns Efficiently
TL;DR AI
2분핵심 요약
PivotRL SFT 궤적을 사용하고 턴 수준 업데이트로 에이전트 모델을 학습하는 프레임워크를 도입했다, sFT 궤적과 턴 수준 업데이트로 에이전트 모델을 학습하는 프레임워크.
피벗 필터링 경험적 보상 분산이 0이 아니고 보상 평균이 임계값보다 낮은 턴을 피벗으로 선택한다 동결된 참조 정책으로 후보 턴을 프로파일링하고 두 통계 조건으로 필터링.
기능적 보상 상태에 대해 검증기가 허용하는 행동 집합에 속하면 보상 1을 부여한다 정확한 문자열 일치 대신 도메인별 검증기를 사용해 행동을 허용 여부로 판정.
정리 3.2 상태별 보상 목적의 자연 기울기 피셔 노름이 보상 표준편차에 비례함을 보였다, gRPO 신호와 보상 분산의 관계를 증명.
정리 3.3 기능적 보상 기반 RL이 허용되는 행동 쪽으로 확률 질량을 이동시키면서 관련 없는 행동의 상대적 순위는 보존한다 기능적 보상 하의 정책 변화에 관한 결과.
같은 주제
