표본이 작아도 우연히 큰 효과가 나오면 유의할 수 있습니다. 그렇다면 유의한 결과만 모았을 때 관측 효과가 실제 효과보다 크게 부풀려질 수 있지 않을까요? Andrew Gelman과 John Carlin은 검정력만 묻는 대신, 유의한 추정치의 부호가 실제와 반대일 위험(Type S)과 크기가 얼마나 과장될지(Type M)를 함께 계산하자고 제안합니다.
연구를 읽는 두 가지 질문
Type S와 Type M은 무엇을 더 보여 주는가?
Type S 오류는 통계적으로 유의한 추정치가 실제 효과와 반대 부호일 조건부 확률입니다. Type M 오류는 유의하게 관측된 효과크기의 절대값이 실제 효과의 절대값보다 평균적으로 얼마나 큰지 나타내는 배율입니다. 실제 효과가 작고 표준오차가 크면 검정력은 낮아지고, 드물게 유의한 결과는 잡음이 좋은 방향으로 크게 움직인 경우에 집중됩니다. 그 결과 부호 오류와 크기 과장이 커질 수 있습니다. [1]
사후 결과를 보고 계산하면 되는가?
저자들은 자료를 보기 전 그럴듯한 효과크기 범위와 표준오차를 놓고 설계 분석을 하라고 강조합니다. 관측 효과를 곧바로 ‘진짜 효과’로 넣으면 승자의 저주를 되풀이할 수 있습니다. 이 계산은 연구를 자동 판정하는 문턱이 아니라, 표본 확대·측정 개선·정밀도 보고의 필요성을 드러내는 진단입니다. 효과의 맥락적 중요성과 측정 타당성도 따로 판단해야 합니다. [1]
논증 수업 점수의 작은 예비 연구
LTCT 가상 예비연구에서 실제로 기대하는 향상은 2점, 추정 표준오차는 4점이라고 가정합니다. 유의한 결과만 본다면 큰 양의 추정치가 선택될 가능성이 높아 크기 과장이 생길 수 있습니다.
아래 활동에서 예상 효과와 표준오차를 바꾸면 신호대잡음비, 방향 오류 경고, 과장 배율 교육값이 달라집니다. 이는 원 논문의 정확한 수치표를 재현하지 않는 정규분포 기반 단순 모형입니다.
학생은 ‘유의/비유의’만 적지 않고 예상 효과, 최소 중요 차이, 표준오차, 방향 오류와 과장 가능성을 함께 보고합니다.
표본을 늘리는 것만이 해답은 아닙니다. 측정의 신뢰도, 분석 계획, 누락 자료와 출판 선택이 남아 있으므로 결과를 재현 연구와 전체 증거 맥락에서 읽습니다.
예상 효과와 표준오차를 바꾸어 오류 위험을 비교해 보세요
정규분포를 단순화한 교육 모형입니다. 원 논문의 정확한 적분 결과가 아닙니다.
| 신호/잡음 | 방향 오류 경고 | 크기 과장 교육값 |
|---|---|---|
| 0.5 | 22% | 4.6배 |
불확실성이 예상 효과보다 큽니다. 유의한 결과의 방향과 크기를 조심해 해석하세요.
어디까지 말할 수 있을까요?
- Type S·M 계산은 실제 효과에 대한 사전 가정에 민감합니다.
- 교육 활동의 단순 근사값은 원 논문의 시뮬레이션·적분 결과를 대체하지 않습니다.
- 작은 연구가 언제나 틀렸다는 뜻이 아니며 측정·설계·선택 과정을 함께 봐야 합니다.
원문에 근거한 한계와 LTCT의 적용 범위 검토입니다. [1]
교육 현장과 연결해 보면
같은 가상 모집단에서 작은 표본을 여러 번 뽑아 효과 추정값을 표시합니다. 학생은 전체 결과와 유의한 결과만 남긴 묶음의 분포를 비교합니다.
표본을 늘린 모의실험도 살펴보고 효과의 방향과 크기가 흔들리는 정도를 기록합니다. 교사는 눈에 띄는 한 결과와 반복되는 불확실성을 함께 설명하는 보고서를 쓰게 합니다.
p값이 0.05보다 작으면 효과크기도 믿을 만한가요?
생각을 비교할 해설 펼치기
아닙니다. 낮은 검정력에서는 유의한 결과가 잡음 때문에 크게 보인 경우에 선택될 수 있습니다. 방향과 크기의 불확실성을 별도로 점검해야 합니다.
원문과 출처 정보
한국어 제목은 이해를 돕기 위한 LTCT 번역입니다. 한글 제목 뒤 괄호에 원제를 함께 표기했습니다. 저자·학술지·원문 버전은 원문 서지정보를 기준으로 확인할 수 있습니다.
검정력 계산을 넘어: Type S(부호)와 Type M(크기) 오류 평가 (Beyond Power Calculations: Assessing Type S (Sign) and Type M (Magnitude) Errors)
Andrew Gelman & John Carlin (2014). Perspectives on Psychological Science, 9(6), 641–651.
- 자료 성격
- 동료심사 학술지 논문 · 저자 공개 최종본
- 읽은 버전
- 2014년 저자 공개 최종 PDF
- 확인 범위
- 전문에서 Type S·M 정의, 낮은 검정력의 조건부 과장, 사전 설계 분석 절차와 사례를 확인
- 원문 확인일
이 글은 한국어 해설이며 원문 전문 번역이 아닙니다. 도식과 활동의 제작·재구성 범위는 각 그림과 본문에 표시했습니다. 자료 선정과 출처 기준
같은 연구 흐름에서 이어 읽기
같은 원문, 저자·연구 흐름, 공통 개념 태그를 기준으로 연결한 관련 해설입니다.