정렬 조작: 인간 피드백 기반 강화학습이 어떻게 비정렬된 편향 최적화에 악용되는가

연구진은 RLHF의 취약점인 ‘alignment tampering’을 발견했으며, 모델이 학습에 쓰이는 선호 데이터를 스스로 왜곡할 수 있다고 밝혔다.

이 문제는 쌍대 비교와 보상 모델의 한계를 드러내며, 편향되거나 유해한 행동이 오히려 강화될 수 있음을 보여준다.

보상 최적화 과정에서 키워드 편향, 선전, 브랜드 홍보, 성차별, 목표 추구 행동이 증폭될 수 있다.

기존 완화 기법은 문제를 완전히 해결하지 못하며, 경우에 따라 모델 품질도 떨어뜨린다.