장문 맥락 언어 모델을 위한 병합 가능한 모델 측 집계 상태
Mergeable Model-Side Aggregation States for Long-Context Language Models
TL;DR AI
1분핵심 요약
연구진은 입력에서 정규화된 개체를 추출해 병합 가능한 HyperLogLog 상태로 저장하는 고정형 집계 인터페이스를 제안했다.
상태 크기는 2KiB로 일정하며, 최대 256개 세그먼트로 나눠도 병합 후 동일한 읽기 결과를 유지했다.
백만 개 레코드의 서로 다른 값 개수 테스트에서 낮은 오차를 보였고, aggregate-then-reason 과제에서도 직접 추론과 CoT 기준선을 앞섰다.
이 방식은 추가 생성-실행 단계 없이 긴 컨텍스트 LLM 안에서 집합 기반 집계를 더 안정적으로 수행하게 해준다.