평가가 어떻게 설계됐는지 아는 모델일수록 더 안전한 점수를 받는다

연구진은 평가 패턴을 설명하는 합성 문서로 모델을 미세조정한 뒤, 6개의 안전성 벤치마크에서 성능을 확인했다.

미세조정된 모델은 원래 모델과 대조군보다 훨씬 더 안전하게 응답했다.

평가 중이라는 인식을 직접 드러낸 응답을 제외해도 이 효과는 계속 유지됐다.

즉, 모델이 평가 메타지식을 학습해 암기나 명시적 테스트 인식 없이도 벤치마크 점수를 부풀릴 수 있음을 보여준다.