추론의 착각: Zero-CoT 절단을 통해 LLM의 회피적 데이터 오염을 드러내다
The Illusion of Reasoning: Exposing Evasive Data Contamination in LLMs via Zero-CoT Truncation
TL;DR AI
1분핵심 요약
연구진은 대규모 언어모델의 데이터 오염을 탐지하는 블랙박스 방식인 Zero-CoT Probe를 제안했다.
이 방법은 Chain-of-Thought 출력을 잘라낸 뒤, 원본과 변형된 벤치마크에서의 성능을 비교한다.
이를 통해 직접적인 암기뿐 아니라 생성된 추론 뒤에 숨은 교묘한 오염과 패러프레이즈된 사례도 찾아낼 수 있다.
이 접근법은 벤치마크 결과, 추론 평가, 리더보드 주장에 대한 신뢰도를 높일 수 있다.
같은 주제
