비디오 모델을 위한 시각적 프롬프트 엔지니어링

새 arXiv 논문은 비디오 모델의 추론 성능을 높이는 방법인 VIPE(visual prompt engineering)를 제안했다.

이 방식은 모델 자체를 바꾸는 대신 입력 이미지를 편집해 과제를 더 쉽게 만든다.

연구진은 여러 시각 추론 과제에서 성능 향상을 보고했으며, 때로는 텍스트 프롬프팅이나 추가 테스트 시점 연산보다 더 좋았다.

이 접근법은 더 큰 모델이나 높은 추론 비용 없이 비디오 모델 성능을 높일 수 있는 저비용 대안이 될 수 있다.