두 채점자가 94% 일치하면 채점은 충분히 믿을 만할까?
단순 일치율과 카파는 우연 일치에 대한 가정이 달라 같은 자료에서도 다른 신뢰도 신호를 낼 수 있습니다.
그림에서 무엇을 볼까요?
관찰 일치에서 우연 기대 일치를 빼 카파로 가는 계산 흐름 옆에 범주별 혼동표가 별도 상자로 표시된다.
응답 100개 중 90개가 실제로 ‘보통’이라 두 채점자가 늘 보통을 고르면 높은 일치가 생길 수 있습니다. 희귀한 ‘탁월’과 ‘미흡’을 얼마나 구별했는지 혼동표에서 따로 봐야 합니다.
그림은 관찰 일치 94%, 우연 기대 일치, 카파 계산과 범주별 오류 상자를 순서대로 연결합니다.
함께 확인할 점
카파 하나로 평가자 수, 응답 난이도, 기준의 타당성을 모두 요약할 수 없습니다.
표본이 작으면 카파 신뢰구간이 넓어 점 추정치 순위가 불안정합니다.
생각해 볼 질문
카파가 높으면 채점 기준도 옳다고 말할 수 있을까요?
자료를 더 많이 모으면 원인을 알 수 있을까?
각각 더 좋은데 합치면 더 나쁠 수 있을까?
논증을 그리는 수업은 새로운 글을 읽는 힘도 키울까?