논리적 사고

인공지능(AI)가 확신이 낮은 답을 보류하면 정확도는 어떻게 달라질까?

AI가 낮은 확신의 답을 보류할 때 답한 범위와 정답률이 함께 어떻게 바뀌는지 살펴보고, 선택된 일부의 성능을 전체 신뢰성과 혼동하지 않는 법을 익힙니다.

그림에서 무엇을 볼까요?

가상 예측 카드가 확신 기준을 통과하면 답변으로, 통과하지 못하면 보류로 갈라지는 흐름도

가상 AI가 여덟 질문마다 40%부터 95%까지의 확신값을 냈다고 해 봅시다. 답할 최소 확신을 70%로 두면 기준 이상인 질문만 답하고 나머지는 보류합니다. 아래 조작은 실제 모델 출력이 아니라 확신 기준과 결과 집합의 관계를 보기 위한 고정 자료입니다.

기준을 높이면 답한 질문 중 정답 비율이 오를 수 있지만, 답한 질문 수는 줄어듭니다. 아무 질문에도 답하지 않으면 분모가 0이므로 정답률을 정의할 수 없습니다. 보류를 포함한 전체 업무의 성공률과 같다고 읽어서는 안 됩니다.

연구가 다룬 자기평가 방법과 이 페이지의 여덟 가상 예측은 다릅니다. 활동의 정답률 변화는 논문의 모델 성능 수치가 아닙니다.

확신값이 잘 보정되어 있지 않으면 높은 값도 정답을 보장하지 않습니다. 기준 선택에는 오류 비용, 보류 비용, 집단별 영향이 필요합니다.

답하지 않은 질문이 쉬운 질문과 같은 분포라고 가정할 수 없습니다. 선택 뒤의 정확도만으로 전체 질문에 대한 신뢰성을 일반화하지 않습니다.

보류 기준을 높인 뒤 답한 질문의 정답률이 100%가 되면 시스템 전체가 완벽해졌다고 말할 수 있을까요?