정확도 하나로 운영을 정할 수 없는 까닭
AI가 여덟 건의 모의 요청을 분류한다고 하자. 각 건에는 모델 확신도와 잘못 처리했을 때의 중요도가 있다. 확신도 92인 저위험 일정 문의와 확신도 92인 고위험 투약 변경 요청은 같은 숫자를 갖지만 실패의 결과가 다르다. 후자는 높은 확신도만으로 자동 승인하기보다 사람에게 넘기는 편이 안전하다.
NIST의 생성형 AI 위험관리 지침은 사용 맥락과 위험 허용 수준에 맞게 평가·감독·대응 절차를 설계하도록 권고한다. 이 글은 그 원칙을 두 개의 명시적 문턱으로 단순화한다. 확신도 문턱보다 낮으면 사람 검토, 중요도 문턱 이상이면 확신도와 관계없이 사람 검토로 보낸다.
참고 · 미국 국립표준기술연구소 NIST · 2024년 7월 25일 승인본 — 생성형 인공지능 위험관리 지침 ↗
문턱을 올릴 때 생기는 교환
확신도 문턱을 70에서 85로 올리면 자동 처리되는 건수가 줄고 사람 검토가 늘어난다. 이는 ‘더 안전하다’는 한 단어로 끝낼 변화가 아니다. 검토 인력과 대기 시간이 필요하고, 정말 중요한 사례가 먼저 보이도록 순서를 정해야 한다. 중요도 문턱을 낮추면 더 많은 사례가 고위험 경로로 간다.
아래 활동은 여덟 사례를 세 상자에 나눈다. 중요도가 문턱 이상이면 ‘우선 사람 검토’, 그보다 낮지만 확신도가 문턱 아래면 ‘일반 사람 검토’, 두 조건을 모두 벗어나면 ‘자동 처리’다. 각 문턱을 바꾸면 카드가 즉시 이동하며, 초기화로 기본값을 되돌릴 수 있다.
인계 뒤의 책임까지 설계하기
사람에게 넘겼다는 표시만으로 책임이 끝나지 않는다. 누가 어떤 정보를 보고 언제 결정을 내리는지, AI 제안을 그대로 따르지 않고 수정할 권한이 있는지, 결과를 다시 시스템 개선에 반영하는지 정해야 한다. 인계가 너무 많으면 검토자가 경고에 익숙해져 중요한 건을 놓칠 수도 있다.
운영 기록에는 자동 처리율뿐 아니라 사람에게 넘긴 이유, 검토 결과, 되돌린 결정, 대기 시간을 함께 남기는 편이 좋다. 이 자료는 적절한 문턱의 정답을 제시하지 않는다. 조직의 실제 피해 규모와 검토 역량을 자료로 확인해 기준을 정하고 주기적으로 다시 평가해야 한다.