가 반에서는 새 활동의 효과가 유의했고 나 반에서는 유의하지 않았습니다. 그래서 가 반에서만 활동이 효과적이라고 결론 내립니다. 하지만 두 p값이 임계선의 서로 다른 쪽에 있다는 사실은 두 효과의 차이가 유의하다는 검정이 아닙니다. 직접 비교할 대상은 두 추정치의 차이입니다.
연구를 읽는 두 가지 질문
논문의 핵심 문제
Andrew Gelman과 Hal Stern의 2006년 American Statistician 논문은 한 조건에서 유의하고 다른 조건에서 유의하지 않다는 패턴을 곧바로 조건 간 차이로 해석하는 오류를 분석합니다. 각 효과를 영과 따로 비교한 두 검정과 효과끼리 직접 비교한 검정은 질문도 표준오차도 다릅니다. 임계값 0.05 주변에서는 이 오류가 특히 쉽게 생깁니다. [1]
차이는 새로운 추정량입니다
효과 가가 4, 효과 나가 2라면 비교할 값은 4−2=2입니다. 두 추정치가 독립이고 표준오차가 각각 1.9인 LTCT 가상 예시에서는 차이의 표준오차가 약 2.69입니다. 가는 영과 비교해 유의할 수 있고 나는 아닐 수 있지만, 차이 2는 그 불확실성에 비해 작습니다. 실제 분석에서는 공분산과 설계에 맞는 상호작용 모형을 써야 합니다. [1]
유의성은 효과의 크기나 중요성이 아닙니다
논문은 경계선 판정 대신 추정치와 불확실성, 직접 비교를 보고하도록 촉구합니다. p값 차이가 효과 차이는 아니며, 둘 다 유의해도 서로 다를 수 있고 한쪽만 유의해도 서로 다르지 않을 수 있습니다. 표본 크기와 변동성이 p값에 영향을 주므로 교육적·실질적 중요성은 효과 크기와 비용, 측정의 타당성을 별도로 봐야 합니다. [1]
두 반의 가상 효과를 직접 빼 보기
가 반의 평균 변화는 4점, 표준오차 1.9점이고 나 반은 2점, 표준오차 1.9점이라고 가정합니다. 영과 비교하면 가의 z값은 약 2.11이라 양측 p값이 .05보다 작고, 나는 약 1.05라 .05보다 큽니다. 여기까지만 보면 ‘가만 효과’라고 말하기 쉽습니다.
하지만 두 반이 독립이라는 단순 가정에서 차이의 표준오차는 √(1.9²+1.9²)≈2.69입니다. 효과 차이 2의 z값은 약 0.74여서 강한 차이 증거가 아닙니다. 이 숫자는 논문의 실제 자료가 아니라 계산 원리를 맞추기 위한 자체 예시입니다. 실제 학급은 독립성, 군집과 사전 점수를 따로 모델링해야 합니다.
그림에는 각 효과의 영 비교와 가−나 직접 비교를 다른 행으로 둡니다. 보고서에는 ‘가 p<.05, 나 p>.05’만 쓰지 않고 두 추정치, 신뢰구간, 차이와 차이의 구간을 함께 제시합니다. 사전에 정한 상호작용이 아니라 결과를 본 뒤 여러 하위 집단을 찾았다면 다중 비교 위험도 밝힙니다.
어디까지 말할 수 있을까요?
- 가상 계산은 두 추정치가 독립이고 정규 근사를 쓸 수 있다는 단순 조건입니다. 실제 반복 측정·학급 자료에는 공분산과 군집 구조가 필요합니다.
- 직접 차이가 유의하지 않다는 사실도 효과가 같음을 증명하지 않습니다. 동등성 질문에는 사전 한계와 충분한 검정력이 필요합니다.
원문에 근거한 한계와 LTCT의 적용 범위 검토입니다. [1]
교육 현장과 연결해 보면
평가에서는 두 p값을 비교하는 선택지와 두 효과의 차이를 직접 계산하는 선택지를 함께 제시해 질문의 단위를 구분하게 할 수 있습니다.
학교 효과 연구라면 조건×시점 상호작용, 사전 등록한 주효과, 효과 크기와 구간을 보고하고 ‘한쪽만 유의’로 교육 효과 차이를 선언하지 않습니다.
두 조건 모두 유의하지 않으면 차이도 없다고 해도 되나요?
생각을 비교할 해설 펼치기
아닙니다. 각각 영과 비교하는 검정력이 낮아도 두 조건의 대비는 다르게 추정될 수 있습니다. 반대로 둘 다 유의해도 서로 같은 크기라는 뜻은 아닙니다. 직접 대비가 필요합니다.
원문과 출처 정보
한국어 제목은 이해를 돕기 위한 LTCT 번역입니다. 한글 제목 뒤 괄호에 원제를 함께 표기했습니다. 저자·학술지·원문 버전은 원문 서지정보를 기준으로 확인할 수 있습니다.
‘유의함’과 ‘유의하지 않음’의 차이는 그 자체로 통계적으로 유의하지 않다 (The Difference Between ‘Significant’ and ‘Not Significant’ is not Itself Statistically Significant)
Andrew Gelman, Hal Stern (2006). The American Statistician, 60(4), 328–331.
- 자료 성격
- 국제 학술지 방법론 논문
- 읽은 버전
- 2006년 출판본 · 2006-08-22 저자 공개 PDF
- 확인 범위
- Columbia 공개 PDF 전체의 독립·상관 추정치 예시, 유의성 임계값 비교 오류와 직접 차이 검정 권고를 확인. 본문 수치는 자체 예시.
- 원문 확인일
이 글은 한국어 해설이며 원문 전문 번역이 아닙니다. 도식과 활동의 제작·재구성 범위는 각 그림과 본문에 표시했습니다. 자료 선정과 출처 기준
같은 연구 흐름에서 이어 읽기
같은 원문, 저자·연구 흐름, 공통 개념 태그를 기준으로 연결한 관련 해설입니다.