영향력 매칭을 통한 데이터셋 증류

Influence Matching은 전체 학습 데이터가 모델 파라미터에 남기는 최종 효과를 맞추도록 합성 데이터를 학습하는 새로운 데이터셋 증류 기법이다.

중간 최적화 과정보다 학습 결과를 직접 정렬하는 방식이라, 기존 process-matching 계열보다 더 강한 성능을 보였다.

Tiny-ImageNet 같은 이미지 분류 벤치마크와 Flickr30K 이미지-텍스트 검색에서 소수의 합성 샘플로도 개선을 보고했다.

핵심은 선형 시간 영향도 추정기를 써서, 더 효율적으로 데이터 증류를 수행한 점이다.