그림 문제라면 언어와 문화에 관계없이 공정할까?

그림에서 무엇을 볼까요?

낮음 중간 높음의 같은 능력 수준에서 두 집단의 정답 확률이 각각 30%, 60%, 85%로 같다는 가상 표.

LTCT의 가상 표에는 낮음·중간·높음의 세 능력 수준이 있습니다. 각 수준에서 가집단과 나집단의 한 문항 정답 확률이 모두 30%, 60%, 85%라고 합시다. 능력 수준별 작동은 같아도 각 집단에 어떤 수준의 사람이 얼마나 속했는지에 따라 집단 전체 정답률은 달라질 수 있습니다.

반대로 전체 정답률이 같더라도 능력 수준별 차이가 서로 상쇄되어 숨을 수 있습니다. 따라서 단순 평균 비교만으로 문항이 공정하다고도 불공정하다고도 확정하기 어렵습니다. 그림은 연구의 실측값이 아닌 개념 설명용 확률표이며 표본 추정의 불확실성은 생략했습니다.