논리적 추론을 위한 알고리즘적 연역 회로 공개

연구진은 LLM의 추론 단계를 토큰 로짓과 연결하고, 인과 매개 분석으로 이를 추적했다.

일부 attention head는 사실 정보와 규칙 기반 정보를 가져와 로컬 하위 과제를 처리하는 역할을 했다.

상위 레이어는 이런 신호를 결합해 그래프 탐색과 같은 더 큰 추론 전략을 구성했다.

이번 결과는 LLM이 단계별 추론을 수행하는 방식을 설명하고, 더 해석 가능하고 제어 가능한 모델 설계에 도움을 준다.