BlockGen: 하이브리드 샘플러를 활용한 유연한 블록 단위 시퀀스 모델링

BlockGen은 여러 블록 크기로 학습된 블록 단위 이산 확산 모델로, 마스크드 확산과 유니폼 확산을 함께 비교했다.

연구진은 AR(오토리그레시브) 예측과 확산 예측을 결합해 잘못됐을 가능성이 큰 토큰을 다시 생성하는 AR-informed predictor-corrector 샘플링도 제안했다.

실험 결과, 블록 단위 생성의 ancestral sampling에서는 특히 적은 step에서 유니폼 확산이 더 좋은 성능을 보였다.

반면 AR-informed 샘플링에서 계산량이 더 높은 경우에는 일부 벤치마크에서 마스크드 확산이 유니폼 확산과 비슷하거나 약간 앞섰다.

이 연구는 별도 verifier 없이도 이산 시퀀스 생성을 개선할 수 있으며, 블록 생성 환경에서도 유니폼 상태 확산의 장점을 다시 검증한다.