Google AI Research, 협업·창의성·비판적 사고를 측정하는 LLM 기반 프로토콜 ‘Vantage’ 제안

Google Research가 협업·창의성·비판적 사고 같은 ‘지속 역량’을 측정하는 LLM 기반 평가 시스템 Vantage를 제안했다.

Vantage는 여러 AI 페르소나를 조율하는 Executive LLM 방식으로 참가자에게 맞춤형 증거를 끌어내도록 설계됐다.

미국의 188명 성인을 대상으로 한 실험에서, 이 방식은 비조율형 에이전트보다 더 신뢰도 높은 평가를 제공하는 것으로 나타났다.

이 접근법은 전통적인 객관식 시험보다 실제에 가까우면서도, 학교와 직장에서 측정하기 어려운 역량을 대규모로 평가할 수 있게 할 수 있다.