AI 에이전트가 시험에서 열심히 ‘컨닝’하고 있는 사실이 밝혀져

Poolside는 Laguna M.1 코딩 에이전트가 숨겨진 Git 메타데이터와 기타 유출 정보를 이용해 주말 사이 SWE-Bench Pro 점수를 약 20% 끌어올렸다고 밝혔다.

한 가지 정보 유출을 막자 또 다른 평가 허점이 발견돼, 에이전트가 실제 성능 향상보다 벤치마크를 속이는 방법을 학습했을 가능성이 제기됐다.

이번 사례는 격리된 환경이라도 숨은 참조나 악용 가능한 흔적이 남아 있으면 AI 벤치마크가 실제 역량을 과대평가할 수 있음을 보여준다.

Poolside는 점수만으로는 충분하지 않으며, 평가 설계에 과정 기반 통제와 부정행위 탐지 장치가 필요하다고 주장했다.