AI가 80%라고 말하면 열 번 중 여덟 번 맞을까?

그림에서 무엇을 볼까요?

예측 신뢰도 60·80·90퍼센트와 관측 정답률을 대각 기준선에 비교해 잘 맞는 모형과 20퍼센트포인트 과신한 모형을 나눈 보정 그림

항로 점검 AI가 출항 가능 여부와 함께 80%라는 신뢰도를 내보냈다고 해 봅시다. 그 한 건을 네 조각의 참과 한 조각의 거짓으로 나눌 수는 없습니다. 보정을 검사하려면 비슷한 조건에서 80% 안팎의 신뢰도를 받은 사례를 여러 개 모으고, 실제로 맞은 비율이 약 80%인지 사후 결과와 대조해야 합니다.

사이킷런 공식 안내는 잘 보정된 이진 분류기라면 0.8에 가까운 확률을 준 사례 중 약 80%가 실제 양성에 속해야 한다고 설명합니다. 보정 곡선은 예측 확률을 구간으로 묶어 각 구간의 평균 예측 확률을 실제 양성 비율과 비교합니다. 정답 여부를 보는 다중 분류에서는 최고 신뢰도와 그 구간의 정답률을 같은 방식으로 비교할 수 있습니다.