언어 모델도 수면이 필요하다 | 해커 뉴스

연구진은 언어 모델의 컨텍스트 창이 가득 차면 ‘수면’ 단계로 전환해, 기존 내용을 통합한 뒤 창을 비우고 업데이트된 기억으로 이어가는 방식을 제안했다.

모델은 이전 컨텍스트를 여러 번 순전파해 유용한 정보를 지속 가중치에 반영하며, 이를 통해 컨텍스트 한계를 넘어 기억을 유지하려 한다.

이 방식은 긴 맥락에서의 성능을 높이고, 더 큰 컨텍스트 창에 대한 의존도를 줄이는 데 목적이 있으며, 특히 추론 단계에서 유용할 수 있다.

Hacker News 토론에서는 수면 박탈이 동물과 인간에게 실제로 치명적인지에 대한 논쟁도 함께 이어졌다.