더 적은 확인, 더 나은 코드: 코딩 어시스턴트의 세션 간 개인화 모호성 적응 벤치마킹

새 벤치마크 CAPA는 코딩 어시스턴트가 같은 사용자의 과거 세션을 활용해 반복되는 모호성을 더 잘 풀 수 있는지 평가한다.

600개 세션과 300개의 보류 평가로 12개 LLM의 코드 생성 성능을, 사용자 히스토리 유무에 따라 비교했다.

핵심 문제는 매번 같은 사용자에게 같은 확인 질문을 반복하는 것으로, 장기 개발 워크플로에서 불편과 오류를 키운다는 점이다.

이를 줄이기 위해 같은 사용자 이력 게이팅(same-user history gating)이라는 가벼운 추론 시점 전략도 제안했다.