LongAttnComp: 장문 맥락 추론을 위한 교차 패밀리 컨텍스트 압축

연구진은 매우 긴 입력에서도 효율적인 추론을 가능하게 하는 장문 문맥용 AttnComp 확장 기법 LongAttnComp를 소개했다.

이 방법은 경량 어텐션 파인튜닝, 토큰 단위 청킹, 토큰 예산 기반 top-p 선택, 위치 재배열, 2단계 학습 절차를 사용한다.

LongAttnComp는 장문 벤치마크에서 강한 성능을 보였고, Code-Debug에서는 전체 문맥 성능과 맞먹거나 이를 능가했으며 여러 모델군에서 다중 문서 추론 전이 성능도 높였다.

입력을 더 효율적으로 압축해 코드 디버깅과 다중 문서 추론 같은 고난도 작업에서 정확도를 유지하면서 추론 비용을 줄일 수 있다.