채점자가 수업 방법을 알면 학습 효과의 판단도 달라질까?

배정과 측정은 서로 다른 단계입니다

LTCT가 만든 가상의 비교 수업을 생각해 봅시다. 학생들은 새 수업과 기존 수업 가운데 하나를 받은 뒤 같은 논증형 답안을 작성합니다. 무작위 배정은 어떤 학생이 어느 수업을 받을지를 우연에 맡기는 절차입니다. 작은 표본에서 두 집단의 사전 능력이 반드시 같아진다는 뜻은 아닙니다.

평가자 눈가림은 답안을 채점하는 사람이 학생이 받은 수업을 모르게 하는 절차입니다. 이름이나 수업 표시를 가리고 같은 기준표로 채점하는 방법을 생각할 수 있습니다. 연구 참여자나 교사를 가리는 것과 평가자를 가리는 것은 서로 다른 조치입니다.

무작위 배정을 했더라도 채점자가 수업을 알고 기대를 반영할 가능성은 남습니다. 반대로 채점자를 가렸더라도 학생들이 원하는 수업을 직접 골랐다면 집단 구성의 차이가 남습니다. 어느 한 절차가 다른 단계를 대신하지 않습니다.

집단 정보가 결과 판단에 영향을 줄 여지가 있나요?

Cochrane 지침의 결과 측정 영역은 측정 방법이 적절한지, 두 집단에 같은 방법을 썼는지, 평가자가 배정 정보를 알았는지, 그 지식이 평가에 영향을 줄 수 있었는지를 나누어 살펴봅니다. ‘눈가림을 하지 않았다’는 사실 하나를 곧바로 모든 결과의 편향 판정으로 바꾸지 않습니다.

논증의 설득력이나 답안의 완성도처럼 판단이 개입하는 결과에서는 기대가 평가에 영향을 줄 여지를 살펴야 합니다. 정교한 기준표, 평가자 훈련, 독립적인 복수 채점과 불일치 처리 절차를 확인하면 판단 과정을 더 잘 이해할 수 있습니다.

기계로 기록한 값은 사람의 즉석 판단이 덜 들어갈 수 있지만 자동으로 문제가 사라지는 것은 아닙니다. 측정 시점, 장비 보정, 측정하지 못한 사례, 값의 제외 기준이 집단마다 달랐는지 확인해야 합니다. 무엇을 언제 측정했는지가 달라지면 같은 이름의 숫자도 비교하기 어려워집니다.

참고: Julian P. T. Higgins · Jelena Savović · Matthew J. Page · Roy G. Elbers · Jonathan A. C. Sterne · Cochrane Handbook, Chapter 8 — Assessing risk of bias in a randomized trial, §8.6

한 점수로 신뢰도를 만들어 내지 않습니다

아래 활동에서 무작위 배정 여부, 평가자의 집단 정보, 결과 측정 방식을 바꾸어 보세요. 배정 단계와 측정 단계에 남는 질문을 따로 보여 줍니다. 세 선택만으로 효과 크기나 ‘신뢰도 80점’ 같은 수치를 계산하지 않습니다.

실제 연구를 읽을 때는 배정 순서가 미리 알려졌는지, 결측 결과를 어떻게 처리했는지, 계획했던 분석과 보고한 분석이 일치하는지도 살펴야 합니다. 이 활동은 그 전체 평가를 대신하는 공식 판정표가 아닙니다.

수업과 평가를 맡은 사람이 같은 경우 눈가림이 어려울 수도 있습니다. 그럴 때는 불가능한 조치를 했다고 적기보다 누가 무엇을 알았는지, 어떤 채점 절차로 영향을 줄이려 했는지, 남은 한계가 무엇인지 구체적으로 보고해야 합니다.