한 답의 신뢰도와 여러 답의 장기적 맞음 비율을 구분한다
항로 점검 AI가 출항 가능 여부와 함께 80%라는 신뢰도를 내보냈다고 해 봅시다. 그 한 건을 네 조각의 참과 한 조각의 거짓으로 나눌 수는 없습니다. 보정을 검사하려면 비슷한 조건에서 80% 안팎의 신뢰도를 받은 사례를 여러 개 모으고, 실제로 맞은 비율이 약 80%인지 사후 결과와 대조해야 합니다.
사이킷런 공식 안내는 잘 보정된 이진 분류기라면 0.8에 가까운 확률을 준 사례 중 약 80%가 실제 양성에 속해야 한다고 설명합니다. 보정 곡선은 예측 확률을 구간으로 묶어 각 구간의 평균 예측 확률을 실제 양성 비율과 비교합니다. 정답 여부를 보는 다중 분류에서는 최고 신뢰도와 그 구간의 정답률을 같은 방식으로 비교할 수 있습니다.
이때 80%는 사실 확인을 끝낸 인증서도, 모델이 속으로 가진 확신의 말도 아닙니다. 공개한 출력 점수와 관측 결과 사이의 통계적 관계입니다. 사용한 자료의 시기·장소·입력 분포가 달라지면 과거의 보정도 깨질 수 있으므로 운영 환경에서 다시 확인해야 합니다.
정확도와 보정은 서로 다른 질문을 측정한다
Guo와 동료들은 현대 신경망에서 분류 오류가 낮아도 신뢰도가 잘 맞지 않을 수 있음을 여러 영상·문서 자료와 모형에서 관찰했습니다. 논문은 신뢰도 구간별 정확도와 신뢰도의 차이를 그리고, 각 구간의 사례 수로 가중한 절댓값 차이의 평균을 기대 보정 오차(ECE)로 사용합니다. ECE가 작을수록 표시한 신뢰도와 관측 비율이 가깝습니다.
아래 자체 예시의 모형 A는 신뢰도 60·80·90% 구간에서 각각 10건 중 6·8·9건을 맞혀 ECE가 0%p입니다. 모형 B는 같은 신뢰도를 표시하지만 4·6·7건만 맞혀 모든 구간에서 20%p 과신하고 ECE도 20%p입니다. 전체 정확도는 A 76.7%, B 56.7%입니다. 정확도 차이와 보정 차이가 이번 예시에서는 함께 나타나지만, 개념상 하나가 다른 하나를 보장하지는 않습니다.
예를 들어 늘 60%만 출력하는 모형이 60%를 맞히면 보정은 잘 맞아도 사례의 위험 순서를 세밀하게 가르지 못할 수 있습니다. 반대로 정답을 많이 맞히는 모형도 틀린 경우에 99%를 반복하면 과신 문제를 남깁니다. 그래서 분류 성능, 확률 보정, 집단별 오류를 따로 보고해야 합니다.
참고 · Chuan Guo·Geoff Pleiss·Yu Sun·Kilian Q. Weinberger / PMLR — 현대 신경망의 확률 보정을 측정하고 개선한 연구 ↗
보정 그래프는 표본 수와 분포 변화까지 함께 표시해야 한다
구간을 너무 잘게 나누면 각 칸의 사례 수가 적어 관측 비율이 크게 흔들립니다. 너무 넓게 묶으면 서로 다른 신뢰도를 평균내어 중요한 과신 구간을 감출 수 있습니다. 그래서 보정 곡선 아래에 구간별 사례 수를 함께 두고, 구간 경계와 ECE 계산법을 공개해야 합니다. 작은 표본의 6/10을 정밀한 60% 법칙으로 단정해서는 안 됩니다.
Guo 등의 연구가 제시한 온도 스케일링은 학습된 모형의 가중치를 고정하고 별도 검증 자료에서 하나의 온도 매개변수를 맞춰 신뢰도를 부드럽게 조정합니다. 이는 그 논문의 조건에서 효과적이었던 사후 보정 방법입니다. 새 환경의 오류를 자동으로 고치거나 사실 확인을 대신하지 않으며, 보정에 쓴 자료와 최종 평가 자료도 분리해야 합니다.
실제 서비스에서는 시기별·지역별·중요 집단별로 신뢰도 구간과 정답률을 다시 그려 보세요. 결정 기준을 바꾸기 전에는 ‘80% 구간에 몇 건이 있었는가’, ‘실제 정답률은 얼마인가’, ‘최대 간격은 어디인가’, ‘최근 입력 분포가 달라졌는가’를 묻습니다. 확률 숫자가 정교해 보일수록 그 숫자를 현실 결과에 연결하는 검사가 더 필요합니다.
참고 · Chuan Guo·Geoff Pleiss·Yu Sun·Kilian Q. Weinberger / PMLR — 현대 신경망의 확률 보정을 측정하고 개선한 연구 ↗