단어가 거의 없는 도형 문제는 누구에게나 같은 방식으로 읽힐까요? 그림을 쓴다는 장점만으로 기호 경험, 화면 환경, 검사 방식의 차이까지 사라지지는 않습니다. 공정성을 판단하려면 같은 수준의 능력을 가진 사람에게 문항이 어떻게 작동하는지 살펴야 합니다. 관계추론 검사 연구는 이러한 검토를 실제 자료로 수행한 사례입니다.
연구를 읽는 두 가지 질문
누구를 어떻게 비교했는가?
뒤마와 알렉산더의 2018년 연구는 미국의 한 공립 연구대학 학부생 1,379명의 관계추론 검사 응답을 분석했습니다. 성별, 언어 배경, 인종·민족 집단 등에 걸쳐 다집단·다차원 문항반응 모형을 비교했습니다. 교육 프로그램의 효과를 시험한 연구가 아니며, 참가자를 인구학적 집단에 무작위로 배정한 것도 아닙니다. 검사 문항의 작동이 잠재 능력을 고려한 뒤에도 집단별로 다른지를 검토했습니다. [1]
무엇을 발견했으며 어디까지인가?
연구에서 검토한 집단 비교에서는 유의한 문항기능차이가 발견되지 않았습니다. 이는 해당 표본과 모형·검사 조건에서 공정성 주장을 뒷받침하는 근거입니다. 하지만 모든 문화와 연령, 모든 시행 방식에서 차이가 전혀 없다는 증명은 아닙니다. 검사에는 시간 제한이 없었고 온라인으로 응시할 수 있었습니다. 시간 압박이나 다른 기기로 조건을 바꾸면 같은 결과를 가정할 수 없습니다. [1]
집단 평균보다 먼저 같은 능력 수준을 비교하기
LTCT의 가상 표에는 낮음·중간·높음의 세 능력 수준이 있습니다. 각 수준에서 가집단과 나집단의 한 문항 정답 확률이 모두 30%, 60%, 85%라고 합시다. 능력 수준별 작동은 같아도 각 집단에 어떤 수준의 사람이 얼마나 속했는지에 따라 집단 전체 정답률은 달라질 수 있습니다.
반대로 전체 정답률이 같더라도 능력 수준별 차이가 서로 상쇄되어 숨을 수 있습니다. 따라서 단순 평균 비교만으로 문항이 공정하다고도 불공정하다고도 확정하기 어렵습니다. 그림은 연구의 실측값이 아닌 개념 설명용 확률표이며 표본 추정의 불확실성은 생략했습니다.
실제 분석에서는 능력 수준도 완벽하게 알려져 있지 않아 모형으로 추정합니다. 기준으로 삼는 문항, 자료의 크기, 여러 비교의 처리도 검토해야 합니다. 차이가 발견되면 문항의 그림 관습이나 불필요한 언어 지식을 내용 전문가가 함께 살펴 원인을 탐색해야 합니다.
어디까지 말할 수 있을까요?
- 한 대학 표본의 분석 결과를 한국의 모든 연령 수험자에게 일반화할 수 없습니다. 비유의 결과는 차이가 정확히 0임을 의미하지 않습니다.
- 문항기능차이가 검출되었다는 통계적 사실과 부당한 편향이라는 규범적 판단도 구분해야 합니다. 측정하려는 능력, 내용, 응시 환경을 함께 검토해야 합니다.
원문에 근거한 한계와 LTCT의 적용 범위 검토입니다. [1]
교육 현장과 연결해 보면
시각추론 문항을 개발할 때에는 색만으로 구분하는 표시, 문화적으로 익숙해야 이해되는 물건, 작은 화면의 세부 차이가 정답을 좌우하는지 사전에 검토할 수 있습니다. 이후 응답 자료가 충분히 쌓이면 능력을 고려한 문항 수준 점검을 계획합니다.
검사 공정성 보고는 “그림이라서 모두에게 공평하다”라는 선언보다 대상 집단, 시행 조건, 자료 규모, 분석 한계를 공개하는 방식이 적절합니다. 통계적 점검과 화면 가독성 검토를 함께 수행하고, 발견한 어려움이 어떤 문항 조건과 연결되는지 확인합니다.
두 집단의 전체 정답률이 다르면 그 문항은 반드시 불공정할까요?
생각을 비교할 해설 펼치기
전체 차이만으로는 판단할 수 없습니다. 집단의 능력 분포 차이와 같은 능력에서 문항이 다르게 작동하는 현상을 나누어 살펴야 합니다. 그렇다고 전체 차이를 항상 능력 차이로 돌려서도 안 됩니다. 적절한 모형과 내용 검토를 통해 차이가 생긴 경로와 검사 목적에 불필요한 부담이 있는지 확인해야 합니다.
원문과 출처 정보
한국어 제목은 이해를 돕기 위한 LTCT 번역입니다. 한글 제목 뒤 괄호에 원제를 함께 표기했습니다. 저자·학술지·원문 버전은 원문 서지정보를 기준으로 확인할 수 있습니다.
관계추론 검사 문항의 차별적 기능 평가 (Assessing Differential Item Functioning on the Test of Relational Reasoning)
Denis Dumas; Patricia Alexander (2018). Frontiers in Education 3:14.
- 자료 성격
- 학술 논문·전문 학술자료
- 읽은 버전
- 학술지 공개 본문 · 2018-03-02 발행
- 확인 범위
- 방법·표본 1,379명·다집단 문항반응모형·집단 비교 결과 및 제한점 확인; 교육 개입이나 무작위배정 연구가 아님
- 원문 확인일
이 글은 한국어 해설이며 원문 전문 번역이 아닙니다. 도식과 활동의 제작·재구성 범위는 각 그림과 본문에 표시했습니다. 자료 선정과 출처 기준