비전 파운데이션 모델 적응을 위한 계층별 정보 할당 재고
Rethinking Layer-Wise Information Allocation for Vision Foundation Model Adaptation
TL;DR AI
1분핵심 요약
연구진은 고정된 비전 파운데이션 모델을 위한 계층별 프롬프트 튜닝 기법인 Prompted Information Bottlenecks를 제안했다.
이 방법은 정보 병목 원리를 적용해 적응 과정에서 유용한 정보는 보존하고 불필요한 정보는 걸러낸다.
전체 34개 데이터셋에서 정확도와 강건성을 높였고, 분포 변화 상황에서도 더 좋은 성능을 보였으며, 업데이트하는 파라미터는 일부에 불과하다.
또한 프롬프트의 깊이와 배치가 성능에 왜 중요한지 설명하는 데도 도움을 준다.