한 연구의 결과는 누구에게까지 적용할 수 있을까?

그림에서 무엇을 볼까요?

한 도시 도서관 성인 표본 80명에서 비슷한 성인과 더 넓은 연령·장소·시간으로 갈수록 추가 근거가 필요해지는 세 단계 그림

한 도시 도서관에서 모집한 성인 지원자 80명을 방법 A와 B에 무작위로 나누고, 10분 논리 과제를 바로 실시했다고 합시다. A 집단의 평균이 B보다 6점 높았습니다. 무작위 배정이 제대로 이루어지고 중도 이탈·측정 누락 같은 문제가 없다는 교육용 조건에서는, 이 80명 안에서 방법 차이를 비교할 근거가 생깁니다. 하지만 80명이 도시 전체 성인을 무작위로 대표하도록 뽑혔다는 뜻은 아닙니다.

무작위 배정은 참여한 사람을 A와 B에 나누는 절차이고, 모집단에서 참여자를 뽑는 대표 표집은 다른 절차입니다. 스스로 도서관 연구에 지원한 성인은 시간, 관심, 교육 경험에서 참여하지 않은 사람과 다를 수 있습니다. 따라서 가장 안전한 첫 문장은 ‘참여한 80명의 즉시 과제에서 평균 6점 차이를 관찰했다’입니다. 대상·장소·측정 시점을 함께 적으면 결과의 경계가 보입니다.