ChatGPT의 공정성 평가

한 연구는 사용자의 이름이 성별이나 인종을 암시할 때, ChatGPT가 같은 프롬프트에도 다르게 응답할 수 있음을 보여줬다.

연구진은 챗봇이 타인에 대한 판단이 아니라 사용자 본인에게 직접 영향을 주는 ‘1인칭 공정성’을 중심으로 살폈다.

미국에서 흔한 이름-기반 연상을 활용해 영어 텍스트 상호작용을 테스트했으며, 정체성에 따른 차이를 확인했다.

다만 성별은 이분법적으로 가정했고, 인종·민족 범주는 네 가지로 제한했으며, 분석도 텍스트에 한정됐다는 한계가 있다.

챗봇이 일상적인 업무에 쓰이는 만큼, 작은 편향도 사용자가 받는 도움의 질을 바꿀 수 있다.