MEME: 다중 개체 및 진화하는 메모리 평가

연구진은 LLM 에이전트의 메모리를 다중 엔티티와 변화하는 상황에서 평가하는 6개 과제의 MEME 벤치마크를 공개했다.

이 벤치마크는 단순 검색을 넘어 실제에 가까운 기억 추론을 보려는 dependency, deletion 등 상태 변화 과제를 포함한다.

6개 메모리 시스템과 100개의 통제된 에피소드에서, 모든 시스템이 기본 설정의 dependency 추론에서 크게 실패했다.

파일 기반 에이전트에 Claude Opus 4.7을 적용한 경우에만 일부 개선이 있었지만, 비용이 매우 컸다.

이번 결과는 단순한 검색 성능과 달리, 현실적인 변화 상황에서의 강건한 메모리는 아직 해결되지 않았음을 보여준다.