무작위 배정이 답하는 범위부터 적기
한 도시 도서관에서 모집한 성인 지원자 80명을 방법 A와 B에 무작위로 나누고, 10분 논리 과제를 바로 실시했다고 합시다. A 집단의 평균이 B보다 6점 높았습니다. 무작위 배정이 제대로 이루어지고 중도 이탈·측정 누락 같은 문제가 없다는 교육용 조건에서는, 이 80명 안에서 방법 차이를 비교할 근거가 생깁니다. 하지만 80명이 도시 전체 성인을 무작위로 대표하도록 뽑혔다는 뜻은 아닙니다.
무작위 배정은 참여한 사람을 A와 B에 나누는 절차이고, 모집단에서 참여자를 뽑는 대표 표집은 다른 절차입니다. 스스로 도서관 연구에 지원한 성인은 시간, 관심, 교육 경험에서 참여하지 않은 사람과 다를 수 있습니다. 따라서 가장 안전한 첫 문장은 ‘참여한 80명의 즉시 과제에서 평균 6점 차이를 관찰했다’입니다. 대상·장소·측정 시점을 함께 적으면 결과의 경계가 보입니다.
Stuart, Bradshaw, Leaf의 2015년 공개 전문은 잘 수행된 무작위시험이 시험 참여자에 대한 효과를 정확히 추정해도 특정 정책 대상 모집단에 같은 정보를 주지 않을 수 있다고 설명합니다. 이를 내적 타당성과 외적 타당성의 구분으로 다루며, 결과를 옮길 목표 모집단을 먼저 구체적으로 정할 것을 강조합니다.
사람·장소·시간은 서로 다른 확장 축이다
‘비슷한 도서관 환경의 성인’으로 넓히려면 한 도시 자원자와 목표 대상이 중요한 특성에서 비슷한지 살펴야 합니다. 활동의 ‘성인·도서관·여러 도시’ 자료를 켜면 장소 범위의 근거가 한 단계 넓어집니다. 그래도 모든 성인에게 정확히 6점이라는 결론은 아닙니다. 도시마다 실행 방식이 다르고, 효과가 사람의 특성에 따라 달라질 가능성이 남습니다.
‘모든 연령·장소에서 4주 뒤에도 6점’은 더 큰 주장입니다. 청소년 자료는 연령 축을, 여러 도시는 장소 축을, 4주 뒤 측정은 시간 축을 보완합니다. 셋 중 하나라도 없으면 그 방향의 빈칸이 분명합니다. 세 자료를 모두 더해도 실제로 가능한 모든 사람과 장소를 검사한 것은 아니며, 평균 차이가 정확히 6점으로 일정하다는 보장도 생기지 않습니다.
원 논문은 참여자와 목표 모집단의 관찰된 특성을 맞추어 가중하는 방법을 사례로 보여 주지만, 관찰하지 못한 차이와 효과의 이질성 같은 문제가 남는다고 설명합니다. 이 페이지의 체크 상자는 그런 통계 방법을 실행하지 않습니다. 어떤 범위를 더 주장하려면 어느 축의 자료가 필요한지 보여 주는 교육용 점검표입니다.
결과를 옮기기 전에 목표를 문장으로 만들기
연구를 읽을 때 ‘일반화 가능한가?’만 묻지 말고 ‘어느 결과를, 어떤 사람에게, 어떤 환경과 시점으로 옮기려는가?’라고 쓰세요. 목표가 비슷한 도시 도서관의 성인인지, 학교의 청소년인지에 따라 필요한 비교 자료가 달라집니다. 측정한 것이 10분 과제라면 장기 학습 유지나 실제 업무 성과로 바꾸어 말하지 않아야 합니다.
다른 상황에서는 한 지점의 서비스 실험, 자원 참가자가 쓴 앱, 특정 직종의 교육 효과를 떠올려 보세요. 먼저 참여자 선정과 조건 배정을 구분하고, 표본·목표 모집단의 차이와 실행 환경을 적으세요. 그다음 효과가 달라질 만한 특성을 정해 추가 표집·반복 연구·가중 분석 가운데 무엇이 필요한지 질문하세요. 좁고 정확한 결론은 약한 결론이 아니라, 다음 검증을 설계할 수 있게 하는 출발점입니다.