TII, 자연어 프롬프트 기반 오픈 보캐뷸러리 그라운딩과 세그멘테이션을 위한 0.6B 파라미터 초기 융합 트랜스포머 Falcon Perception 공개

TII가 이미지 패치와 텍스트 토큰을 하나의 Transformer에 함께 넣는 Falcon Perception을 공개했다.

이 모델은 자연어 프롬프트만으로 오픈 보캐뷸러리 그라운딩과 세그멘테이션을 수행한다.

하이브리드 어텐션, 3D 로터리 위치 임베딩, chain-of-perception 출력 형식을 사용한다.

약 685억 토큰 규모의 3단계 파이프라인과 멀티-티처 증류로 학습됐다.

모듈형 비전+디코더 구조 대신 단일 조기 융합 Transformer의 가능성을 보여준다.