임베딩 모델은 개념을 어떻게 결합할 수 있을까?

연구진은 CLIP 계열의 비전-언어 임베딩이 장면을 객체별로 더해진 표현으로 나타내지만, 개념을 올바른 객체에 묶기 위해서는 복잡한 바인딩 함수가 필요하다는 점을 확인했다.

이 바인딩 메커니즘은 보지 못한 객체-개념 조합에 잘 일반화되지 않아, 다중 객체 이해에서의 흔한 실패를 설명한다.

반면, 처음부터 학습한 제어된 트랜스포머 모델에서는 충분한 조합 데이터를 학습했을 때 바인딩 일반화가 나타났다.

이 모델들은 개념 간 곱셈적 상호작용을 사용하는 바인딩 함수를 학습해, 충분한 데이터와 적절한 구조가 있으면 더 나은 개념 결합이 가능함을 보여줬다.