전체 104명에서는 시험 점수 차이가 없었지만, 시험불안이 높은 36명에서는 p값이 .031이었다면 효과가 확인된 걸까요? 하위집단 결과는 누구에게 효과가 있을지 중요한 가설을 만들 수 있습니다. 동시에 여러 경계를 뒤늦게 시험할수록 우연히 유의한 결과 하나를 찾을 가능성도 커집니다.
연구를 읽는 두 가지 질문
기존 무작위시험의 104명 하위표본을 다시 분석했습니다
Frisaldi 등은 3주 공개표시 위약과 무처치를 비교한 단일맹검 무작위시험의 2차 분석을 2025년 공개했습니다. 학습전략 자료가 있는 의대생 104명을 분석했고, 시험불안과 학습전략이 처치 효과와 상호작용하는지 탐색했습니다. 연구 전체가 새로 무작위화된 것이 아니라 기존 시험의 일부 표본을 이용한 탐색 분석입니다. [1]
전체 표본의 시험 점수 차이는 확인되지 않았습니다
전체 표본에서 처치군과 비교군의 시험 점수 차이는 0.52점, 표준오차 1.61, 95% 신뢰구간 -2.63~3.66, p=.749였습니다. 즉 전체 평균 효과를 지지하지 않았습니다. 시험불안이 높은 것으로 나눈 36명에서는 차이 5.71점, 표준오차 2.54, 95% 신뢰구간 0.72~10.70, p=.031이 보고됐습니다. [1]
하위집단 결과는 탐색적이며 여러 경고가 있습니다
하위집단 경계와 분석은 사전등록된 확증 분석이 아니었고 다중비교 보정도 하지 않았습니다. 높은 불안 하위집단의 표본은 36명으로 작으며 기준선 걱정 점수 차이도 있었습니다. 연속 변수를 나누는 경계는 정보를 잃고 다른 절단점에서 결과가 바뀔 수 있습니다. 따라서 이 결과는 후속 시험의 표적 가설이지 확정된 맞춤 처방이 아닙니다. [1]
무작위배정도 사후 하위집단 균형을 자동 보장하지 않습니다
전체 표본에서 무작위배정은 중요한 장점이지만 작은 하위집단 안에서는 우연한 불균형이 남을 수 있습니다. 상호작용 검정과 하위집단 내부 p값도 구별해야 합니다. LTCT 교육 연구에서 비슷한 결과가 나오면 전체 효과, 사전지정된 상호작용, 하위집단 추정치와 신뢰구간을 한 화면에 제시해야 합니다. [1]
전체 104명과 높은 불안 36명의 다른 질문
전체 비교는 ‘평균적으로 처치가 점수를 바꿨는가’를 묻습니다. 높은 불안 36명 비교는 ‘이 특성을 가진 학생에게 효과가 다른가’를 묻습니다. 두 질문은 관련 있지만 같은 검정이 아닙니다. 한쪽의 비유의와 다른 쪽의 유의만 비교해 상호작용을 선언할 수 없습니다.
신뢰구간 -2.63~3.66은 전체 효과가 정확히 0임을 증명하지 않지만, 큰 평균 이득을 확정할 근거도 주지 않습니다. 하위집단 구간 0.72~10.70은 매우 넓어 가능한 효과 크기의 불확실성이 큽니다. p=.031만 떼어 ‘효과 입증’이라고 쓰면 이 정보를 잃습니다.
LTCT 평가 활동에서는 사전등록 카드와 결과 카드를 나눠, 분석 전에 정한 가설인지 표시하게 합니다. 여러 하위집단을 시험했다면 전체 개수와 보정 여부를 기록하고, 탐색 결과는 ‘후속 검증 가설’ 색상으로 표시합니다.
어디까지 말할 수 있을까요?
- 학습전략 자료가 있는 104명의 2차 분석이고 높은 불안 하위집단은 36명이라 추정이 불안정합니다.
- 사전등록되지 않은 다중 탐색, 무보정 비교, 기준선 차이가 있어 독립 표본의 확증적 재현이 필요합니다.
원문에 근거한 한계와 LTCT의 적용 범위 검토입니다. [1]
교육 현장과 연결해 보면
교육 연구를 읽을 때 전체 결과와 특정 하위집단의 결과를 나란히 적습니다. 학생은 하위집단 분석을 미리 계획했는지, 집단 사이의 차이를 직접 비교했는지 원문에서 확인합니다.
교사는 한 집단에서만 유의한 결과가 나왔다는 사실과 두 집단의 효과가 다르다는 결론을 구분하게 합니다. 탐색 결과를 후속 연구의 질문으로 바꾸고 필요한 추가 검증을 제안하도록 합니다.
전체 효과 p=.749와 하위집단 p=.031을 보고 ‘불안이 효과를 조절한다’고 바로 말할 수 없는 이유는 무엇인가요?
생각을 비교할 해설 펼치기
두 p값의 차이가 곧 상호작용은 아니며, 하위집단이 탐색적으로 정해졌고 다중검정과 작은 표본의 우연 변동을 고려해야 하기 때문입니다.
원문과 출처 정보
한국어 제목은 이해를 돕기 위한 LTCT 번역입니다. 한글 제목 뒤 괄호에 원제를 함께 표기했습니다. 저자·학술지·원문 버전은 원문 서지정보를 기준으로 확인할 수 있습니다.
시험불안·학습전략과 공개표시 위약의 학업시험 효과: 무작위시험 2차 분석 (The Association Between Test Anxiety, Learning Strategies, and Open-Label Placebo Effects on Academic Test Performance: A Secondary Analysis of a Randomized Controlled Trial)
Elisa Frisaldi, Julian Kleine-Borgmann, Helena Hartmann, Sven Benson, Ulrike Bingel, Katharina Schmidt (2025). Frontiers in Psychology 16:1529056.
- 자료 성격
- 공개 학술지 무작위시험 2차 분석
- 읽은 버전
- 2025-10-09 공개 출판 HTML
- 확인 범위
- 전체 공개 HTML: 원 무작위시험 맥락, 104명 2차 분석, 전체·하위집단 수치, 사전등록·다중검정·기준선 한계
- 원문 확인일
이 글은 한국어 해설이며 원문 전문 번역이 아닙니다. 도식과 활동의 제작·재구성 범위는 각 그림과 본문에 표시했습니다. 자료 선정과 출처 기준