AI 리뷰어의 한계와 가능성: 45명의 전문가 과학자가 살펴본 네이처 계열 논문의 리뷰
On the limits and opportunities of AI reviewers: Reviewing the reviews of Nature-family papers with 45 expert scientists
TL;DR AI
1분핵심 요약
45명의 분야 전문가가 Nature 계열 논문 82편에 대한 인간·AI 리뷰의 비판 2,960개를 평가한 대규모 연구가 나왔다.
일부 경우 AI 리뷰어는 인간보다 더 정확하고 중요하며 근거가 탄탄한 비판을 잘 찾아냈다.
다만 세부 분야 지식과 긴 맥락을 다루는 능력에서는 여전히 약했고, AI 모델끼리의 중복도 인간 리뷰어보다 컸다.
이번 결과는 AI가 동료심사에 어디서 도움이 되고 어디서 인간 전문성이 필요한지 보여주는 드문 대규모 근거다.