공개 모델로 Anthropic의 Mythos 연구 결과를 재현했다 | Hacker News

Hacker News 사용자들은 Anthropic의 Mythos 결과를 공개 AI 모델로 재현했다는 주장에 대해 논쟁했다.

비판론자들은 상세한 프롬프트, 파일·라인 수준의 힌트, 분할된 작업 등이 들어가 원래 설정과 동일하지 않았다고 지적했다.

그렇게 되면 공개 모델이 Anthropic의 원래 평가에서는 얻지 못했을 정보를 추가로 받은 셈이 될 수 있다.

또한 Anthropic이 더 강한 내부 자원이나 공개되지 않은 프롬프트를 사용했을 가능성이 제기되며, 벤치마크 비교의 공정성에 의문이 나왔다.