구글, 품질을 유지하면서 AI 메모리 사용량을 낮추는 TurboQuant 압축 공개

Google Research 발표했다, google Research가 TurboQuant를 발표했다.

TurboQuant 메모리 사용량을 줄이도록 설계됐다, turboQuant는 대형 언어 모델의 메모리 사용량을 줄이도록 설계됐다.

성능이 8배 향상했다고 보고됐다, google의 초기 테스트에서 일부 평가에서 성능이 8배 향상했다고 보고됐다.

메모리 사용량이 6배 감소했다고 보고됐다, google의 초기 테스트에서 일부 평가에서 메모리 사용량이 6배 감소했다고 보고됐다.

키-값 캐시 크기를 줄이는 것을 목표로 한다, turboQuant는 키-값 캐시의 크기를 줄이는 것을 목표로 한다.