Sigmoid 대 ReLU 활성화 함수: 기하학적 맥락을 잃는 것의 추론 비용
Sigmoid vs ReLU Activation Functions: The Inference Cost of Losing Geometric Context
TL;DR AI
1분핵심 요약
시그모이드는 입력을 0과 1 사이의 좁은 범위로 압축한다.
이 압축은 값들을 결정 경계에서 멀어지게 하고 구별 불가능하게 만들어 층 간 기하학적 맥락을 잃게 한다.
ReLU는 양수 입력의 크기를 보존해 거리 정보가 네트워크를 통해 전달된다.
two-moons 실험으로 Sigmoid와 ReLU의 순전파 신호 전달과 표현 기하를 비교 분석한다.
데이터는 make_moons로 생성하고 StandardScaler로 노이즈를 추가·표준화했으며, 추론 효율성과 확장성을 고려한다.