AI가 모를 때 멈추면 더 믿을 수 있을까?

그림에서 무엇을 볼까요?

신뢰도 문턱 0·70·85·95에서 AI가 답한 비율은 100·80·50·20퍼센트로 줄고, 답한 사례의 오류율은 30·25·20·0퍼센트로 줄어드는 자체 예시 비교 그림

디지털 지도 보관소의 AI가 스캔 조각 열 장의 지역을 분류한다고 해 봅시다. 신뢰도는 98, 96, 93, 90, 86, 82, 78, 74, 69, 61점이고, 이 가운데 90·78·69점 사례는 틀렸습니다. 문턱이 0이면 열 장 모두 답하고 일곱 장을 맞혀 정확도는 70%, 오류율은 30%입니다.

선택적 분류는 모든 입력에 반드시 답하는 대신 일부를 보류하는 선택을 추가합니다. El-Yaniv와 Wiener는 분류기가 답한 입력의 비율인 응답률(coverage)과, 그 응답 범위 안에서의 오류인 선택 위험(selective risk)을 함께 다루는 틀을 전개했습니다. 하나를 낮추려면 다른 하나를 얼마나 포기하는지 위험-응답률 관계로 봅니다.