대규모 메모리 디코더: 사전학습된 매개변수형 장기 기억

Memory Decoder at Scale는 디코더 전용 언어 모델을 위한 장기 기억 모듈을 69억 파라미터와 3000억 토큰 규모로 사전학습했다.

연구팀은 대규모 메모리 검색을 위해 분산 Faiss 인덱싱과 검색 파이프라인도 구축했다.

실험 결과, 메모리에 더 많은 파라미터를 할당할수록 여러 모델 크기와 벤치마크에서 성능 대비 파라미터 효율이 개선됐다.

이 결과는 핵심 언어 모델을 키우기보다 장기 기억을 별도로 확장하는 방식이 더 적은 총 파라미터로 품질을 높일 수 있음을 시사한다.