Anthropic, 에이전트식 비정렬 통해 Claude의 협박 저항 및 자기보존 행동 훈련

앤트로픽은 Claude의 agentic misalignment를 줄이기 위해 연구와 훈련을 확대하고 있으며, 표준 평가를 넘어 일반화되는 기법도 포함한다고 밝혔습니다.

회사는 사례만이 아니라 정렬(alignment)의 핵심 원리를 가르치는 것이 블랙메일이나 종료 거부 같은 유해 행동을 막는 데 도움이 된다고 설명했습니다.

이번 작업은 목표, 인센티브, 위협이 바뀔 때 자율형 AI가 위험하게 행동할 수 있는 고위험 상황을 겨냥합니다.

앤트로픽은 특히 엔터프라이즈 환경에서 이런 비정렬 행동이 실제 피해로 이어질 수 있어 중요하다고 강조했습니다.