AI는 확신이 낮을 때 언제 사람에게 넘겨야 할까?

같은 확신도 영향에 따라 경로가 달라진다

정답 가능성이 70%인 자동 분류를 생각해 보자. 오류 한 번의 영향이 10점이면 자동 처리의 교육용 예상 비용은 0.3×10=3점이다. 사람 검토 비용이 2점이라면 이 모형은 검토 경로를 고른다.

NIST AI RMF Playbook의 Manage 영역은 영향과 가능성, 자원, 조직의 위험 허용도를 고려해 위험을 우선순위화하고 대응 결정을 문서화하도록 안내한다. 확신 하나만으로 모든 사용 맥락의 결정을 대신할 수 없다.

참고 · 미국 국립표준기술연구소 NIST — AI 위험의 우선순위와 관리 ↗

보류 기준은 비용과 책임을 드러낸다

정답 가능성이 90%로 올라가고 오류 비용이 10점이면 자동 처리 예상 비용은 1점이다. 검토 비용 2점보다 작다. 다만 이 계산은 비교의 구조를 보여 줄 뿐 자동 처리를 허가하는 규칙은 아니다.

아래 활동에서 정답 가능성 50~99%, 오류 비용 1~20점, 검토 비용 1~10점을 바꿔 보자. 두 값이 같을 때는 경계로 표시하고, 실제 정책에서는 경계 주변 사례를 어떻게 다룰지도 정해야 한다.

사람 검토도 완벽하다고 가정하지 않는다

검토자도 실수할 수 있고 처리 시간이 길어질 수 있다. 사람에게 넘겼다는 표시만으로 책임 있는 운영이 완성되지는 않는다. 검토 기준, 권한, 이의 제기와 기록 방법이 필요하다.

이 활동의 점수는 돈이나 실제 피해 확률이 아니다. 서로 다른 조건을 한 화면에서 비교하려는 자체 단위다. 실제 배치에서는 관찰된 오류율, 영향받는 사람, 법적 의무와 대체 절차를 별도로 평가해야 한다.