한 단계의 점수와 전체 작업
가상의 문서 처리기가 글자를 스캔하고, 문서를 분류한 뒤, 요약을 만든다. 각 단계가 독립적으로 90% 성공하고 세 단계가 모두 맞아야 전체 성공이라면 확률은 0.9×0.9×0.9=0.729, 즉 72.9%다. 단계 하나의 숫자를 전체 작업에 그대로 붙일 수 없다.
NIST AI RMF Playbook의 Measure 기능은 목적에 맞는 지표·시험 절차·허용 한계를 정하고 배포 전후 성능을 문서화하도록 안내한다. 무엇을 성공으로 셌는지와 어느 단계에서 측정했는지를 분리해야 지표를 제대로 읽을 수 있다.
곱셈이 성립하는 조건
아래 활동은 스캔·분류·요약 성공률을 각각 70~100%로 바꾸고 곱을 계산한다. 하나를 100%로 올려도 나머지 두 단계가 90%라면 전체는 81%다. 가장 낮은 단계 하나만 보는 것과도 결과가 다르다.
곱셈은 단계가 독립이라는 강한 가정을 둔다. 흐린 원본 때문에 스캔과 분류가 함께 실패한다면 오류가 연관된다. 또 사람이 중간에서 수정하거나 실패한 문서를 다시 처리하면 실제 전체율은 다른 모형이 필요하다.
측정 단위를 업무 흐름에 붙이기
‘모델 정확도 90%’라는 한 숫자 대신, 입력 품질·중간 단계·최종 업무 완료 조건을 나눠 기록하자. 재시도와 사람 검토도 단계로 표시하면 실패가 어디서 줄거나 누적되는지 보인다.
이 활동의 72.9%는 제품 평가가 아니다. 성공 정의와 독립 가정을 투명하게 놓고 관계를 확인하기 위한 계산이다. 실제 배포 판단에는 대표 자료, 하위 집단, 피해의 크기와 사후 모니터링이 더 필요하다.