델타 어텐션 잔차

연구진은 누적 히든 상태가 아니라 층 간 변화량을 보는 Transformer 라우팅 방식인 Delta Attention Residuals를 제안했다.

기존 Attention Residuals는 층이 깊어질수록 너무 균일해져 attention 가중치의 대비가 약해진다고 분석했다.

변화량을 라우팅하면 attention 분포가 더 선명해지고, 220M~7.6B 규모 모델 전반에서 검증 퍼플렉시티가 개선됐다.

이 방법은 사전학습 체크포인트를 층별 라우팅 미세조정으로 업그레이드할 수 있는 실용적 경로도 제시한다.