설명 가능성은 전이되는가? 비전 트랜스포머와 CNN에서의 기여도 산정 방법에 대한 통제된 벤치마크
Does Explainability Transfer? A Controlled Benchmark of Attribution Methods on Vision Transformers and CNNs
TL;DR AI
2분핵심 요약
연구진은 CNN과 여러 비전 트랜스포머를 포함한 8개 백본에서 13개 attribution 방법을 faithfulness, localization, robustness, complexity, cost 기준으로 비교했다.
결과는 아키텍처 의존성이 매우 컸으며, CNN에서 좋게 보이던 순위가 Vision Transformer와 다른 트랜스포머 계열로 그대로 이어지지 않았다.
CAM 계열은 표준 localization 지표에서 높은 점수를 받지만, 실제로는 부정확해도 지표가 포화될 수 있고, attention rollout은 견고하지만 localization 성능은 약했다.
이 연구는 faithfulness 지표만으로는 방법을 충분히 구분하기 어렵다며, XAI 평가는 다중 지표와 아키텍처별 기준이 필요하다고 강조한다.