확신 숫자는 장기 빈도와 비교해야 한다
가상의 분류기가 비슷한 사례 열 개마다 80% 확신을 표시했다고 하자. 여덟 개가 맞았다면 이 작은 묶음의 관찰 정답률도 80%다. 여섯 개만 맞았다면 표시 확신과 관찰값 사이에 20퍼센트포인트 차이가 난다.
Guo와 동료들의 ICML 2017 논문은 분류기의 확률 추정이 실제 정답 가능성을 잘 나타내는지 묻는 확신 보정 문제를 다룬다. 연구팀은 현대 신경망이 잘못 보정될 수 있음을 보이고 사후 보정 방법을 비교했다.
참고 · Chuan Guo·Geoff Pleiss·Yu Sun·Kilian Q. Weinberger / PMLR — 현대 신경망의 확률 보정을 측정하고 개선한 연구 ↗
한 번의 정답으로 80%를 판정할 수는 없다
한 사례는 맞거나 틀릴 뿐 80%만큼 맞을 수 없다. 비슷한 확신을 낸 여러 사례를 모아 정답 비율과 비교해야 숫자의 뜻을 점검할 수 있다. 사례 수가 적으면 우연한 흔들림도 크다.
아래 활동에서 표시 확신을 50~95%, 열 사례의 정답 수를 0~10개로 바꿔 보자. 화면은 관찰 정답률과 절대 차이를 함께 보여 준다. 차이가 작다는 사실만으로 데이터 대표성까지 보장되지는 않는다.
전체 평균 뒤의 구간을 나누어 본다
전체 평균이 잘 맞아도 특정 집단이나 어려운 조건에서 과도한 확신이 나타날 수 있다. 확신 구간, 사례 유형, 사용 환경별로 나누어 보면 평균에 가려진 차이를 찾을 수 있다.
이 활동은 실제 AI를 호출하지 않고 주어진 숫자를 계산한다. 열 사례는 설명을 위한 작은 묶음이며 성능 인증 자료가 아니다. 실제 평가에서는 독립 시험 자료, 표본 크기, 오차 분포와 사용 목적을 기록해야 한다.