AI는 언제 사람에게 판단을 넘겨야 할까?
확신도와 사안의 중요도 기준을 함께 움직여, 자동 처리·사람 검토·즉시 보류가 어떻게 달라지는지 살핍니다.
그림에서 무엇을 볼까요?
AI 검토에서 낮은 위험 자동 처리와 높은 위험 사람 검토가 하나의 인계 지점으로 연결되는 흐름도
AI가 여덟 건의 모의 요청을 분류한다고 하자. 각 건에는 모델 확신도와 잘못 처리했을 때의 중요도가 있다. 확신도 92인 저위험 일정 문의와 확신도 92인 고위험 투약 변경 요청은 같은 숫자를 갖지만 실패의 결과가 다르다. 후자는 높은 확신도만으로 자동 승인하기보다 사람에게 넘기는 편이 안전하다.
NIST의 생성형 AI 위험관리 지침은 사용 맥락과 위험 허용 수준에 맞게 평가·감독·대응 절차를 설계하도록 권고한다. 이 글은 그 원칙을 두 개의 명시적 문턱으로 단순화한다. 확신도 문턱보다 낮으면 사람 검토, 중요도 문턱 이상이면 확신도와 관계없이 사람 검토로 보낸다.
함께 확인할 점
교육용 분류 모형 · 여덟 가상 사례에 확신도와 중요도를 부여합니다. 의료 진단이나 실제 병원 분류 기준이 아니며, 사람 검토 규칙을 설명하기 위한 예시입니다.
생각해 볼 질문
자동화가 쓰이는 업무 하나를 떠올리고, 확신도와 별개로 반드시 사람에게 넘겨야 할 중요 조건을 적어 보세요.
같은 숫자, 다른 인상
달린 뒤 자동차 타이어의 공기압은 왜 높아질까?
AI가 HTTP Content-Length를 글자 수로 적어도 될까?