MIT 연구, 언어 모델의 규모를 키우면 왜 그렇게 안정적으로 성능이 향상되는지 설명

MIT 연구진이 신경망 스케일링 법칙에 대한 메커니즘을 제시했습니다. 언어 모델은 고차원 공간에서 여러 개념을 겹쳐 담기 때문에 규모가 커질수록 예측 가능한 성능 향상을 보인다는 설명입니다.

연구팀은 약한 슈퍼포지션과 강한 슈퍼포지션을 비교했고, 실제 모델이 강한 슈퍼포지션에 가깝게 작동해 대형 모델에서 보이는 매끄러운 파워법칙적 향상을 만든다고 봤습니다.

OPT, GPT-2, Qwen2.5, Pythia, Chinchilla 등 여러 오픈소스 모델의 출력층 측정값도 예측된 스케일링 패턴과 일치했습니다.

이번 결과는 왜 더 큰 모델이 계속 더 좋아지는지 설명하는 동시에, 언제 성능 향상이 둔화될지와 어떤 아키텍처가 효율적인지에 대한 단서도 제공합니다.