Gated DeltaNet-2: 선형 어텐션에서 지우기와 쓰기 분리

Gated DeltaNet-2는 긴 문맥 언어 모델링과 검색 작업을 위한 새로운 선형 어텐션 모델이다.

채널별 erase/write 게이트로 기억 삭제와 기록을 분리하고, 적응형 망각과 채널별 감쇠를 결합했다.

이 구조는 retrieval-heavy 작업의 정확도를 높이면서도 학습과 디코딩 효율은 유지한다.

1.3B 파라미터 장문맥 벤치마크에서 비교된 효율적 시퀀스 모델 중 최고 성능을 기록했다.