LLM은 변화하는 사용자 의도에서 길을 잃는다

연구진은 단일 턴 벤치마크를 사용자 의도가 시간에 따라 드러나거나 바뀌는 다중 턴 대화로 바꾸는 프레임워크를 만들었다.

여러 과제와 모델 계열에서, 정적 벤치마크에서는 강했던 모델들도 의도가 공개·수정·전환되면 정확도가 크게 떨어지는 경우가 많았다.

이번 연구는 벤치마크 성능과 실제 대화형 에이전트의 요구 사이에 큰 격차가 있음을 보여준다.

실제 협업형 에이전트는 변화하는 사용자 목표를 계속 추적하고 반영해야 한다는 점이 강조됐다.