기능적 어텐션: 쌍별 유사도에서 기능적 대응관계로

연구진은 토큰별 softmax 대신 구조화된 선형 연산자로 전역 의존성을 모델링하는 새로운 연산자 학습용 어텐션, Functional Attention을 제안했다.

이 방법은 어텐션을 적응적 기저 간 대응으로 재해석해 연속 함수 공간과 해상도 불변성을 더 잘 표현하려는 접근이다.

해당 arXiv 논문은 PDE 풀이, 3D 세그멘테이션, 회귀 등 여러 벤치마크에서 강력한 기준 모델들과 경쟁력 있는 성능을 보였다고 보고했다.

더 압축적이고 이산화 변화에 강한 설계로, 과학 계산과 비전 모델이 전역 구조를 더 효과적으로 포착하는 데 도움이 될 수 있다.