Gated DeltaNet-2: 선형 어텐션에서 지우기와 쓰기 분리

연구진은 압축 메모리 업데이트에서 채널별 erase gate와 write gate를 분리한 선형 어텐션 구조 Gated DeltaNet-2를 제안했다.

잊기와 쓰기를 분리해 fast-weight 편집을 개선하면서도, 효율적인 학습과 디코딩은 유지했다.

1.3B 파라미터 실험에서 여러 경쟁 구조보다 더 좋은 성능을 보였고, RULER 같은 장문 컨텍스트 검색에서도 강했다.

이번 결과는 선형 어텐션의 핵심 한계를 실용적으로 완화하며, 언어 모델링과 다양한 NLP 태스크의 성능 향상을 보여준다.