MORFES: 현대 그리스어의 생산적 굴절 능력을 위한 벤치마크
MORFES: A Benchmark for Productive Inflectional Competence in Modern Greek
TL;DR AI
1분핵심 요약
연구진이 현대 그리스어의 굴절 형태를 제대로 인식·생성하는지 평가하는 500문항 벤치마크 MORFES를 공개했다.
MORFES는 저빈도 어휘를 많이 포함해 단순 암기보다 실제 형태론적 능력을 더 잘 측정하도록 설계됐다.
여러 오픈웨이트 모델을 비교한 결과, 새로 공개된 Sophea-Genesis-1이 형태론 과제에서 가장 좋은 성능을 보였다.
이 벤치마크는 사실 지식 중심 평가의 한계를 보완하며, 형태가 복잡한 언어에서 모델의 문법적 역량을 가늠할 기준을 제공한다.