통합검색

인공지능(AI)가 확신이 낮은 답을 보류하면 정확도는 어떻게 달라질까?

AI가 낮은 확신의 답을 보류할 때 답한 범위와 정답률이 함께 어떻게 바뀌는지 살펴보고, 선택된 일부의 성능을 전체 신뢰성과 혼동하지 않는 법을 익힙니다.

Language Models (Mostly) Know What They Know

인공지능(AI)가 ‘90% 확신’하면 열 번 중 아홉 번 맞을까?

언어모델의 P(True)와 P(IK) 연구를 통해 자신감, 판별력, 보정, 새 과제 일반화를 구분합니다. 답변 임계값을 움직여 선택적 응답의 대가를 살펴보세요.

Language Models (Mostly) Know What They Know

유의확률(p값)이 0.05면 ‘이 결론이 틀릴 확률’도 5%일까?

Colquhoun의 계산은 p값과 발견의 사후 오류확률이 다른 양임을 보이며, 사전가능성·검정력·관측 증거를 함께 명시해야 한다고 주장합니다.

An Investigation of the False Discovery Rate and the Misinterpretation of p-values

유의해진 순간 멈추면 오류율도 그대로일까?

40·60·80·100명에서 같은 p값을 보면서 매번 0.05, 최종 한 번, 네 번 보정이라는 세 규칙이 어떤 판단을 만드는지 비교합니다.

AI가 모를 때 멈추면 더 믿을 수 있을까?

신뢰도 문턱 0·70·85·95에서 AI가 답한 비율은 100·80·50·20퍼센트로 줄고, 답한 사례의 오류율은 30·25·20·0퍼센트로 줄어드는 자체 예시 비교 그림