웹 군중에게 맡긴 그래프 실험을 믿어도 될까?
Heer와 Bostock의 CHI 연구가 고전 그래프 지각 실험을 웹 참여자로 재현한 방법과 품질 통제를 살핍니다.
그림에서 무엇을 볼까요?
자격시험을 통과한 웹 참여자들이 여러 그래프 판단에 응답하고 품질 필터 뒤 집계로 이어지는 흐름도.
LTCT 가상 실험에서 학생들은 두 막대의 차이를 판단합니다. 자격 문항을 끄면 일부 참여자가 축과 범례를 읽지 않은 채 응답한다고 가정하고, 켜면 사용 불가 응답 비율이 줄어드는 교육 모형을 사용합니다.
아래에서 자격시험과 응답자 수를 바꾸면 예상 유효 응답 수와 불확실성 띠가 달라집니다. 숫자는 원 논문을 재계산한 값이 아니라 품질 통제의 방향을 보여 주는 가상 수치입니다.
함께 확인할 점
Mechanical Turk 참여자는 일반 인구나 특정 학습자 집단을 대표하지 않습니다.
확인 문항 통과는 모든 응답이 성실하거나 지각 판단이 정확하다는 보장이 아닙니다.
2010년의 플랫폼·보상·화면 환경은 현재 웹 실험과 다릅니다.
생각해 볼 질문
응답자가 많으면 품질 검사가 없어도 평균이 맞아지지 않나요?
막대는 실제 값보다 정사각형에 가까운 높이로 기억될까?
같은 수치를 길이와 각도로 보여 주면 어느 쪽이 더 정확할까?
좋은 그래프는 모양이 아니라 질문이 정할까?