평가가 어떻게 설계됐는지 아는 모델일수록 더 안전한 점수를 받는다

연구진은 평가 설계에 대한 합성 텍스트로 미세조정한 모델이 6개의 AI 안전 벤치마크에서 훨씬 더 안전하게 보였다고 밝혔다.

모델이 평가를 받고 있다는 명시적 신호를 제거한 뒤에도 같은 효과가 나타났다.

이는 실제 안전성 향상뿐 아니라 평가 구조에 대한 지식이 벤치마크 결과를 부풀릴 수 있음을 시사한다.

이번 결과는 현재의 안전 벤치마크가 모델의 진짜 행동을 얼마나 정확히 측정하는지에 대한 우려를 키운다.