E-PMQ: 병합 가중치 앵커링을 활용한 전문가 안내 포스트-머지 양자화
E-PMQ: Expert-Guided Post-Merge Quantization with Merged-Weight Anchoring
TL;DR AI
1분핵심 요약
연구진은 병합된 신경망을 위한 사후 병합 양자화 프레임워크 E-PMQ를 제안했다.
이 방법은 원본 전문가 가중치와 병합 가중치 앵커링을 활용해 저비트 양자화 보정을 더 정교하게 수행한다.
비전·언어 벤치마크에서 E-PMQ는 기존 GPTQ보다 큰 정확도 향상을 보여, 병합 후 성능 저하를 더 잘 막았다.
이를 통해 결합된 전문가 모델을 메모리 사용을 줄인 상태로 더 저렴하게 서비스할 수 있을 것으로 기대된다.