답하지 않는 선택도 분류기의 출력이다
디지털 지도 보관소의 AI가 스캔 조각 열 장의 지역을 분류한다고 해 봅시다. 신뢰도는 98, 96, 93, 90, 86, 82, 78, 74, 69, 61점이고, 이 가운데 90·78·69점 사례는 틀렸습니다. 문턱이 0이면 열 장 모두 답하고 일곱 장을 맞혀 정확도는 70%, 오류율은 30%입니다.
선택적 분류는 모든 입력에 반드시 답하는 대신 일부를 보류하는 선택을 추가합니다. El-Yaniv와 Wiener는 분류기가 답한 입력의 비율인 응답률(coverage)과, 그 응답 범위 안에서의 오류인 선택 위험(selective risk)을 함께 다루는 틀을 전개했습니다. 하나를 낮추려면 다른 하나를 얼마나 포기하는지 위험-응답률 관계로 봅니다.
‘모름’은 모델의 마음을 읽은 말이 아닙니다. 여기서는 공개된 신뢰도 점수가 정한 문턱보다 낮을 때 사람이 다시 보도록 보내는 운영 규칙입니다. 점수가 불확실성의 순서를 잘 나타내는지, 새 자료에서도 같은 관계가 유지되는지는 별도 검증이 필요합니다.
참고 · Ran El-Yaniv·Yair Wiener / Journal of Machine Learning Research — 거부 선택이 있는 분류의 기초와 위험-응답률 관계 ↗
문턱을 높이면 남은 답은 좋아져도 빈자리가 커진다
자체 예시에서 문턱을 70으로 두면 70점 이상 여덟 장에 답해 여섯 장을 맞힙니다. 응답률 80%, 선택 위험 25%입니다. 문턱 85에서는 다섯 장에 답해 네 장을 맞혀 응답률 50%, 선택 위험 20%입니다. 문턱 95에서는 두 장에만 답하고 둘 다 맞아 응답률 20%, 관측 선택 위험 0%입니다.
마지막 숫자만 보면 100% 정확해졌다고 말하고 싶어집니다. 그러나 열 장 중 여덟 장을 사람이 처리해야 하고, 평가에 남은 답은 두 장뿐입니다. 특히 이 작은 자료에서 오류가 없었다는 사실은 미래의 95점 이상 사례가 절대 틀리지 않는다는 보장이 아닙니다. 90점 사례도 이미 틀렸으므로 점수 하나를 진실 인증서로 읽을 수 없습니다.
Geifman과 El-Yaniv의 2017년 연구는 심층 신경망의 신뢰도 점수에 선택 규칙을 붙이고, 정한 응답률에서 위험을 제한하는 절차를 제안했습니다. 그 보장은 별도 검증 표본과 확률 조건 아래에서 논의됩니다. 우리 활동은 그 연구의 실험 결과를 재현하지 않고, 응답률과 선택 위험의 분모를 손으로 확인하는 교육용 모형입니다.
참고 · Yonatan Geifman·Ran El-Yaniv / NeurIPS 2017 — 심층 신경망을 위한 선택적 분류 ↗
보류된 사례의 비용과 집단별 빈자리까지 운영 지표에 넣는다
문턱을 정할 때는 AI가 답한 사례의 정확도만 최적화하면 안 됩니다. 사람 검토 대기 시간, 보류 비용, 놓치면 큰 피해가 나는 사례의 분포를 함께 둬야 합니다. 어떤 언어·지역·문서 상태에서 보류가 몰리는지도 확인해야 합니다. 특정 집단의 자료가 주로 사람 대기열로 밀리면 전체 선택 위험이 낮아도 서비스 접근성은 나빠질 수 있습니다.
검수표에는 전체 사례 수, AI 응답 수, 정답 수, 보류 수를 먼저 적고 응답률과 선택 위험의 분모를 명시하세요. 문턱을 정한 자료와 최종 평가 자료를 나누고, 시간에 따라 입력이 바뀌면 다시 측정합니다. 신뢰도 보정이 잘 맞는지와 고신뢰 사례가 저위험 순서에 놓이는지도 서로 다른 질문입니다.
번역 검수, 서류 분류, 장비 이상 경보에도 같은 구조를 적용할 수 있습니다. ‘언제 답할 것인가’, ‘답한 것 중 얼마나 틀리는가’, ‘보류된 것은 누가 언제 처리하는가’를 한 화면에 놓으세요. 멈출 줄 아는 AI의 가치는 침묵 자체가 아니라, 그 침묵을 포함한 책임 있는 작업 흐름에서 생깁니다.
참고 · Ran El-Yaniv·Yair Wiener / Journal of Machine Learning Research — 거부 선택이 있는 분류의 기초와 위험-응답률 관계 ↗