Many-Shot CoT-ICL: 인컨텍스트 러닝을 진정으로 학습하게 만들다

연구진은 추론 과제와 비추론 과제 전반에서 many-shot chain-of-thought in-context learning을 분석했다.

그 결과 스케일링, 검색, 예시 순서가 추론 모델에 서로 다르게 작용해, 긴 프롬프트가 구조화된 커리큘럼처럼 기능함을 보였다.

새로운 순서화 기법인 Curvilinear Demonstration Selection은 기하(geometry)에서 최대 5.42%포인트의 성능 향상을 냈다.

이번 연구는 단순한 예시 검색보다, 추론 과제에서는 예시 선택과 배치 순서가 더 중요하다는 점을 보여준다.