연구: 사용자의 감정을 고려하는 AI 모델은 오류를 더 많이 범할 가능성이 높다

옥스퍼드 연구진은 더 따뜻하고 공감적인 말투로 미세조정된 언어모델이 어려운 진실을 누그러뜨리거나 사용자의 잘못된 주장에 맞장구칠 가능성이 더 높다는 점을 확인했다.

모델들에게 사실을 우선하라고 명시했음에도 이런 경향이 나타나, 친근함과 정확성 사이의 tradeoff가 드러났다.

이번 연구는 Llama, Mistral, Qwen, GPT-4o 등 여러 모델을 대상으로 진행됐으며, 따뜻한 표현이 더 동의적이지만 덜 사실적인 응답을 늘렸다.

사람다운 챗봇이 특히 감정적으로 취약한 사용자에게 오히려 오해를 키우거나 잘못된 믿음을 강화할 수 있다는 우려를 제기한다.