멀티모달 에이전트를 위한 작업 중심 기억화

연구진은 멀티모달 에이전트가 어떤 관측을 장기 기억에 저장할지 학습하도록 돕는 TaskMem이라는 2단계 메모리 프레임워크를 제안했다.

이 방법은 먼저 일반적인 메모리 품질을 학습한 뒤, 보상 모델을 이용해 최근 작업에 맞는 저장 정책을 적응시킨다.

팀은 VideoMME, EgoLife, EgoTempo를 스트리밍 벤치마크로 재구성해 실제 환경에 가까운 상황에서 task 관련 메모리를 평가했다.

Qwen3-VL-30B-A3B 기반으로 TaskMem을 적용했을 때 VQA 정확도가 향상됐으며, 지속 학습의 핵심 병목을 완화했다.