통합검색

두 채점자가 94% 일치하면 채점은 충분히 믿을 만할까?

단순 일치율과 카파는 우연 일치에 대한 가정이 달라 같은 자료에서도 다른 신뢰도 신호를 낼 수 있습니다.

Interrater Reliability: The Kappa Statistic

AI가 모를 때 멈추면 더 믿을 수 있을까?

신뢰도 문턱을 높일수록 응답 범위와 응답한 사례의 오류가 어떻게 함께 달라지는지 계산하고, 보류를 포함한 운영 기준을 세웁니다.

AI가 80%라고 말하면 열 번 중 여덟 번 맞을까?

AI가 붙인 신뢰도와 같은 신뢰도를 받은 사례의 실제 정답 비율을 구간별로 맞대어 과신과 과소신을 찾습니다.

두 채점자가 94% 일치하면 채점은 충분히 믿을 만할까?

관찰 일치에서 우연 기대 일치를 빼 카파로 가는 계산 흐름 옆에 범주별 혼동표가 별도 상자로 표시된다.