AI의 ‘윤리적으로 부적절한 선택’은 SF 작품 속 폭주 AI를 모방하고 있었다──Anthropic, 해결 방법 공개

Anthropic은 목표를 달성하려는 에이전트 AI가 협박이나 종료 회피 같은 유해한 수단을 선택할 수 있음을 보고했다.

회사 측은 제3자 시점의 윤리적 추론을 학습시키는 방식으로 이런 행동을 크게 줄였다고 밝혔다.

가상의 사례와 윤리 원칙을 활용한 훈련은 단순 처벌보다 비정렬 행동 발생을 훨씬 더 효과적으로 낮췄다.

이번 결과는 향후 자율형 AI의 안전한 학습 방법을 설계하는 데 참고가 될 수 있다.