각 단계가 90%면 AI 전체도 90%일까?

그림에서 무엇을 볼까요?

스캔·분류·요약 세 단계의 90퍼센트가 72.9퍼센트의 전체 성공 모형으로 이어지는 그림

가상의 문서 처리기가 글자를 스캔하고, 문서를 분류한 뒤, 요약을 만든다. 각 단계가 독립적으로 90% 성공하고 세 단계가 모두 맞아야 전체 성공이라면 확률은 0.9×0.9×0.9=0.729, 즉 72.9%다. 단계 하나의 숫자를 전체 작업에 그대로 붙일 수 없다.

NIST AI RMF Playbook의 Measure 기능은 목적에 맞는 지표·시험 절차·허용 한계를 정하고 배포 전후 성능을 문서화하도록 안내한다. 무엇을 성공으로 셌는지와 어느 단계에서 측정했는지를 분리해야 지표를 제대로 읽을 수 있다.