잡음 채널로서의 LLM: 모델 용량과 스케일링 법칙에 대한 섀넌 관점
LLMs as Noisy Channels: A Shannon Perspective on Model Capacity and Scaling Laws
TL;DR AI
1분핵심 요약
연구진은 LLM 학습을 잡음이 있는 통신 채널로 보는 Shannon Scaling Law를 제안했다.
Pythia와 OLMo2에서 이 방법은 잡음, 양자화 같은 교란으로 인한 비단조적 성능 저하를 더 잘 설명했다.
또한 기존의 파워법칙 기반 스케일링 법칙보다 예측과 외삽 성능이 뛰어났다.
이 접근은 더 큰 모델이나 더 많은 데이터가 언제부터 성능 향상 대신 저하를 낳는지 파악하는 데 도움이 될 수 있다.
같은 주제
