통합검색

두 평가자가 많이 동의하면 AI 검사는 믿을 만할까?

두 평가자의 2×2 판정표를 바꾸어 단순 일치율과 우연 기대 일치, 카파를 비교합니다.

두 채점자가 94% 일치하면 채점은 충분히 믿을 만할까?

단순 일치율과 카파는 우연 일치에 대한 가정이 달라 같은 자료에서도 다른 신뢰도 신호를 낼 수 있습니다.

Interrater Reliability: The Kappa Statistic

답이 길면 AI 심판은 더 좋은 답으로 볼까?

핵심 근거는 2개로 같은 60단어·180단어 답을 길이 보너스 규칙과 근거 루브릭으로 채점해 선택이 뒤집히는 과정을 확인합니다.

AI가 같은 답을 여러 번 하면 더 믿을 수 있을까?

다섯 번의 보이는 출력과 외부 정답을 나란히 두고, 높은 일치율이 도움이 되는 조건과 같은 오류가 반복되는 경우를 구분합니다.

두 채점자가 94% 일치하면 채점은 충분히 믿을 만할까?

관찰 일치에서 우연 기대 일치를 빼 카파로 가는 계산 흐름 옆에 범주별 혼동표가 별도 상자로 표시된다.