트리플릿-블록 확산 RWKV

연구진이 양방향 이산 디코딩을 지원하는 확산 기반 RWKV 변형 모델 B^3D-RWKV를 공개했다.

트리플릿 블록 구조를 통해 RWKV의 O(L) 추론 효율을 유지하면서 병렬 생성을 가능하게 했다.

8개 작업 벤치마크에서 7.2B 모델은 기존 시스템과 비슷한 정확도를 보였고, 평균 약 1.6배 빠른 디코딩을 달성했다.

이 접근은 양방향 확산과 선형 시간 언어모델 추론을 함께 구현할 실용적 가능성을 보여준다.