높은 성능, 낮은 신뢰성: 표 형식 파운데이션 모델의 불확실성 벤치마킹

연구진은 TALENT의 112개 데이터셋에서 tabular foundation model을 평가했고, gradient-boosted decision trees 등 기존 기준선보다 더 높은 AUC를 기록했다.

하지만 conformal prediction에서는 conditional coverage가 더 낮게 나타나, 정확도는 높지만 불확실성 신뢰도는 떨어지는 모습을 보였다.

합성 실험에서는 일부 환경에서 성능과 불확실성 사이의 트레이드오프가 더 강해질 수 있음을 확인했다.

이번 결과는 높은 정확도만큼이나 신뢰할 수 있는 불확실성 추정이 중요한 고위험 의사결정 시스템에서 calibration 격차가 크다는 점을 보여준다.