논리적 사고

AI의 80% 확신은 열 번 중 여덟 번 맞는다는 뜻일까?

표시된 확신과 같은 묶음의 실제 정답 비율을 바꾸어 보정 차이를 계산하고, 한 사례의 확신과 여러 사례의 빈도를 구분합니다.

그림에서 무엇을 볼까요?

80퍼센트 확신으로 예측한 열 사례 중 여덟 정답이면 차이가 0이고 여섯 정답이면 20퍼센트포인트 차이가 나는 비교 그림

가상의 분류기가 비슷한 사례 열 개마다 80% 확신을 표시했다고 하자. 여덟 개가 맞았다면 이 작은 묶음의 관찰 정답률도 80%다. 여섯 개만 맞았다면 표시 확신과 관찰값 사이에 20퍼센트포인트 차이가 난다.

Guo와 동료들의 ICML 2017 논문은 분류기의 확률 추정이 실제 정답 가능성을 잘 나타내는지 묻는 확신 보정 문제를 다룬다. 연구팀은 현대 신경망이 잘못 보정될 수 있음을 보이고 사후 보정 방법을 비교했다.

교육용 보정 계산 · 같은 조건의 10개 사례를 묶어 관찰 정답률=정답 수÷10, 보정 차이=|표시 확신−관찰 정답률|로 계산합니다. 실제 모델의 보정 검사는 더 큰 독립 자료가 필요합니다.

확신 숫자를 제시하는 서비스 하나를 떠올리고 어떤 묶음과 기간으로 실제 결과를 비교할지 정해 보세요.