δ-mem: 대규모 언어 모델을 위한 효율적인 온라인 메모리

연구진은 고정된 대형 언어 모델에 붙이는 경량 온라인 메모리 모듈 δ-mem을 제안했다.

이 모듈은 과거 정보를 고정 크기 행렬에 저장하고, 생성 과정에서 어텐션을 보정한다.

강력한 메모리 기준선과 고정 백본보다 더 높은 성능을 보였고, 메모리 중심 벤치마크에서 특히 큰 향상을 냈다.

δ-mem은 일반 능력은 대부분 유지하면서 기억력과 효율을 높여, 작은 외부 메모리의 효과를 보여줬다.