SCICONVBENCH: 계산과학의 작업 정의를 위한 다중 턴 명확화에서 LLM을 평가하는 벤치마크
SCICONVBENCH: Benchmarking LLMs on Multi-Turn Clarification for Task Formulation in Computational Science
TL;DR AI
1분핵심 요약
연구진은 대화로 모호하거나 모순된 과학 요청을 명확히 하는 능력을 평가하는 벤치마크 SCICONVBENCH를 공개했다.
이 벤치마크는 유체역학, 고체역학, 재료과학, 편미분방정식 등 네 개의 계산과학 분야를 다룬다.
모델이 과학 작업을 수행하기 전에 빠진 정보를 묻고 모순을 바로잡을 수 있는지 평가한다.
결과적으로 현재 LLM은 멀티턴 환경에서 근거 있는 이해와 완전한 명확화, 안정적인 과제 정식화에 여전히 어려움을 보였다.