비디오 모델을 위한 시각적 프롬프트 엔지니어링

연구진은 입력 이미지를 수정해 영상 추론 과제를 더 쉽게 만드는 ‘비주얼 프롬프트 엔지니어링(VIPE)’을 제안했다.

이 방법은 여러 과제에서 성능을 높였고, 기존의 텍스트 기반 프롬프트 엔지니어링보다 더 나은 결과를 보이기도 했다.

일부 경우에는 테스트 타임 스케일링보다도 성능이 좋아, 낮은 계산 비용으로 추론 성능을 끌어올릴 수 있는 방법으로 제시됐다.

핵심은 텍스트 지시문이 아니라 이미지 편집 모델로 시각적 입력 자체를 바꾸는 데 있다.