확률을 솔직하게 말하게 하는 채점 규칙이 있을까?

그림에서 무엇을 볼까요?

실제 사건율 70퍼센트에서 보고 확률 70퍼센트 지점의 기대 손실이 최소가 되는 U자형 개념 그래프.

아래 활동에서 예측 확률을 5~95%로 바꾸고 실제 발생 여부를 고릅니다. Brier 손실은 (예측확률-결과)^2, 로그 손실은 실제로 일어난 결과에 준 확률의 음의 로그입니다. 한 번의 사건에서는 자신 있게 틀리면 큰 손실을 받습니다.

실제 사건율이 70%인 상황이 반복된다고 가정하면, 70%를 보고할 때 Brier 기대 손실이 가장 낮습니다. 그러나 한 번 비가 오지 않았다고 70% 예측이 거짓인 것은 아닙니다. 확률예측은 많은 비교 가능한 사례에서 보정과 예리함을 함께 평가해야 합니다.