세차장까지 걸어가시겠습니까? 상식 추론에서 대규모 언어 모델의 현저성 편향 드러내기

새 연구는 대규모 언어모델이 상식 추론에서 오답 유도용 명시적 단서에 쉽게 흔들리는 ‘현저성 편향’을 보인다고 밝혔다.

연구진은 SaliTrap 벤치마크로 12개 최신 모델을 평가했으며, 숫자 같은 무관한 정보가 모델의 판단을 자주 흐트러뜨린다는 점을 확인했다.

저자들은 많은 실패가 상식 자체의 부족보다 오해를 부르는 프레이밍 때문에 지식이 억제되는 문제라고 해석했다.

또한 간단한 추론 시점 프롬프팅만으로도 상당한 성능 회복이 가능해, 저비용 개선 여지가 크다고 제시했다.