시험불안이 높은 하위집단의 유의한 결과를 곧바로 교육 효과로 볼 수 있을까?
2025년 무작위시험의 2차 탐색 분석은 전체 효과가 없는데 한 하위집단에서 차이를 보였습니다. 사전지정·다중검정·기준선 차이를 함께 봐야 합니다.
그림에서 무엇을 볼까요?
전체 104명의 넓은 신뢰구간과 높은 시험불안 36명의 넓은 신뢰구간을 나란히 두고 탐색 가설에서 후속 검증으로 이어지는 그림
전체 비교는 ‘평균적으로 처치가 점수를 바꿨는가’를 묻습니다. 높은 불안 36명 비교는 ‘이 특성을 가진 학생에게 효과가 다른가’를 묻습니다. 두 질문은 관련 있지만 같은 검정이 아닙니다. 한쪽의 비유의와 다른 쪽의 유의만 비교해 상호작용을 선언할 수 없습니다.
신뢰구간 -2.63~3.66은 전체 효과가 정확히 0임을 증명하지 않지만, 큰 평균 이득을 확정할 근거도 주지 않습니다. 하위집단 구간 0.72~10.70은 매우 넓어 가능한 효과 크기의 불확실성이 큽니다. p=.031만 떼어 ‘효과 입증’이라고 쓰면 이 정보를 잃습니다.
함께 확인할 점
학습전략 자료가 있는 104명의 2차 분석이고 높은 불안 하위집단은 36명이라 추정이 불안정합니다.
사전등록되지 않은 다중 탐색, 무보정 비교, 기준선 차이가 있어 독립 표본의 확증적 재현이 필요합니다.
생각해 볼 질문
전체 효과 p=.749와 하위집단 p=.031을 보고 ‘불안이 효과를 조절한다’고 바로 말할 수 없는 이유는 무엇인가요?
자료를 더 많이 모으면 원인을 알 수 있을까?
각각 더 좋은데 합치면 더 나쁠 수 있을까?
탐지기가 울리면 정말 문제가 있는 걸까?