언어 모델 사전 지식을 활용해 관측으로부터 POMDP 세계 모델 학습하기
Learning POMDP World Models from Observations with Language-Model Priors
TL;DR AI
1분핵심 요약
연구진은 언어모델 사전지식을 활용해 제한된 관측-행동 데이터로 POMDP 세계모델을 학습하는 Pinductor를 제안했다.
Pinductor는 LLM이 잠재 상태 모델 후보를 제안하고 다듬도록 한 뒤, belief-based likelihood로 이를 학습한다.
실험에서 이 방법은 hidden state에 접근하는 기법과 비슷한 성능을 보였고, tabular baseline보다 표본 효율이 더 좋았다.
이번 결과는 사전학습 언어모델이 불확실한 환경에서 에이전트의 내부 모델 형성을 더 적은 상호작용으로 돕는다는 점을 시사한다.