논리적 사고

인공지능(AI)가 ‘90% 확신’하면 열 번 중 아홉 번 맞을까?

언어모델의 P(True)와 P(IK) 연구를 통해 자신감, 판별력, 보정, 새 과제 일반화를 구분합니다. 답변 임계값을 움직여 선택적 응답의 대가를 살펴보세요.

그림에서 무엇을 볼까요?

확신 기준선 위의 AI 답은 응답하고 아래 답은 보류하며, 기준을 높일수록 응답 수와 정답 비율이 함께 바뀌는 막대 도식.

가상 AI가 여덟 질문에 42~95의 확신을 붙였고 정답·오답이 섞여 있습니다. 최소 확신을 70으로 두면 네 답만 내고 나머지는 보류합니다. 기준을 높이면 답한 집단의 정답률이 변하지만 답변 수는 줄어듭니다.

확신 88인 오답이 하나 있기 때문에 기준을 높인다고 정답률이 매번 단조롭게 오르지는 않습니다. 보류한 질문이 특정 분야나 집단에 몰리면 전체 평균이 좋아 보여도 실제 서비스는 불공정해질 수 있습니다. 보정 곡선, 오류 유형, 답변률을 함께 봐야 합니다.

논문은 2022년에 연구진이 훈련한 최대 52B 매개변수 모델과 당시 과제를 다룹니다. 2026년의 다른 모델·도구 사용 환경에 결과를 그대로 옮길 수 없습니다.

보정이 좋아도 개별 답의 진위를 증명하지 못하며, 자신감 신호가 조작되거나 분포가 바뀌는 고위험 상황에서는 외부 검증이 필요합니다.

AI가 잘 보정되었다면 근거 확인을 생략해도 될까요?