채점이 정확하면 그 점수로 어떤 결정이든 내려도 될까?
타당화 논증은 관찰에서 채점, 일반화, 실제 수행, 활용 결정으로 넘어가는 근거를 살핍니다. 점수의 정확성과 점수 사용의 정당성을 구별합니다.
그림에서 무엇을 볼까요?
채점, 일반화, 실제 수행 연결, 활용의 함의라는 네 추론 단계와 각 단계에 필요한 검토 질문을 나타낸 표.
LTCT 가상 사례에서 학생은 열 문항 중 여덟 문항을 맞혔습니다. 첫 단계에서는 정답키와 부분점수 기준이 적절한지 확인합니다. 다음 단계에서는 이 열 문항이 목표로 삼은 관계추론 영역을 충분히 대표하는지 검토합니다. 특정 유형만 반복했다면 여덟 개의 정답에서 넓은 영역의 능력으로 넘어가는 근거가 약할 수 있습니다.
그다음 이 점수로 실제 자료 분석 활동을 잘할 것이라고 해석하려면 시험 밖 과제와의 관련성을 확인해야 합니다. 마지막으로 학습 지원반 배정에 점수를 사용할 경우 그 배정이 실제로 도움이 되는지, 경계 점수 학생에게 불필요한 불이익은 없는지 검토합니다.
함께 확인할 점
원문의 사례는 주로 의학교육과 평가 맥락입니다. 그 분야에서 얻은 근거를 LTCT에 그대로 이전할 수 없습니다.
타당화 단계의 이름을 문서에 적는 것만으로 증거가 생기지 않습니다. 비교 가능한 자료, 일관된 채점, 목적에 맞는 해석 검토가 실제로 필요합니다.
생각해 볼 질문
채점자 두 명의 점수가 거의 같다는 결과만으로 그 시험이 실제 토론 능력을 잘 측정한다고 할 수 있을까요?
자료를 더 많이 모으면 원인을 알 수 있을까?
각각 더 좋은데 합치면 더 나쁠 수 있을까?
논증을 그리는 수업은 새로운 글을 읽는 힘도 키울까?