무작위시험 결과가 p<0.05라고 해도 결론이 얼마나 안정적인지는 p값 한 줄만으로 알기 어렵습니다. Walsh 등은 유의한 이분형 또는 생존 결과를 보고한 399개 무작위시험을 검토해, 사건 수가 적은 집단에서 비사건을 사건으로 하나씩 바꾸며 Fisher 정확검정의 p값이 0.05 이상이 될 때까지 반복했습니다. 필요한 최소 변경 수를 취약성 지수라고 불렀습니다.
연구를 읽는 두 가지 질문
399개 시험에서 무엇을 찾았나?
대상은 영향력 높은 의학 학술지에 실렸고 초록에 통계적으로 유의한 이분형 또는 시간-사건 결과를 제시한 무작위시험이었습니다. 표본 중앙값은 682명, 사건 중앙값은 112건이었습니다. 취약성 지수 중앙값은 8이었고 범위는 0에서 109였습니다. 25%는 세 건 이하의 결과 변경으로 유의성이 사라졌으며, 53%에서는 취약성 지수가 추적 손실 인원보다 작았습니다. 이는 많은 시험의 유의성이 소수 사건에 의존할 수 있음을 보여 줍니다. [1]
지수가 크면 연구가 완벽한가?
취약성 지수는 p값을 보완하는 설명 도구일 뿐 효과크기, 신뢰구간, 임상적 중요성, 편향 위험을 대신하지 않습니다. 표본 크기와 사건 수에 영향을 받고, 이분형 결과와 특정 유의성 기준에 묶여 있습니다. 지수가 0인 경우 원 논문의 분석과 Fisher 정확검정 결과가 다를 수도 있습니다. 따라서 ‘몇 명 바뀌면’이라는 직관을 제공하되 원자료와 분석 계획을 함께 읽어야 합니다. [1]
가상 통과표에서 사건 하나씩 바꾸기
가상 프로그램 시험에서 참여 집단 20명 중 15명, 비교 집단 20명 중 8명이 통과했다고 합시다. 아래 활동은 참여 집단의 통과 한 건을 미통과로 바꾸는 대신, 사건이 적은 비교 집단의 미통과를 통과로 한 건씩 바꾸어 두 집단 차이를 좁힙니다. 매 단계마다 양측 Fisher 정확검정 p값을 다시 계산합니다.
표에 표시되는 p값과 취약성 지수는 이 가상 2×2 표에서 직접 계산됩니다. 원 논문의 399개 시험 중 특정 사례를 재현하지 않습니다. 초기 표가 유의하지 않으면 취약성 지수라는 질문 자체가 적용되지 않는다는 점도 보여 줍니다.
교육 효과 보고에서는 지수만 제시하지 않고 각 집단의 분모·사건 수, 효과크기, 신뢰구간, 추적 손실을 함께 적습니다. 학교 표본이 작다면 한두 학생의 결측이 결론을 바꾸는지 사전에 민감도 분석을 계획할 수 있습니다.
사건을 한 건씩 바꾸어 유의성 경계를 확인하세요
가상 2×2 표에서 비교 집단의 비통과를 통과로 한 건씩 바꾸세요.
| 집단 | 통과 | 미통과 |
|---|---|---|
| 참여 | 16 | 4 |
| 비교 | 8 | 12 |
양측 Fisher p=0.0225 · 0.05 미만
가상 표의 직접 계산이며 실제 교육 효과 자료가 아닙니다.
어디까지 말할 수 있을까요?
- 취약성 지수는 이분형 결과와 유의성 문턱에 크게 의존하며 연속 결과나 복잡한 모형을 같은 방식으로 평가하지 못합니다.
- 지수가 작다는 사실만으로 연구가 틀렸다고 할 수 없고, 지수가 크다고 편향·측정 오류·선택적 보고가 해결되는 것도 아닙니다.
원문에 근거한 한계와 LTCT의 적용 범위 검토입니다. [1]
교육 현장과 연결해 보면
교육 실험 보고에서는 p값 옆에 원자료 2×2 표, 효과크기, 신뢰구간, 추적 손실과 민감도 결과를 함께 제시할 수 있습니다.
학생에게 사건 한 건씩 바꾸며 결론의 변화와 자료의 한계를 설명하게 하면 유의성과 실질적 중요성을 구분하는 연습이 됩니다.
취약성 지수가 2라면 연구 결과를 믿으면 안 되나요?
생각을 비교할 해설 펼치기
그 수만으로 결정할 수 없습니다. 효과크기와 신뢰구간, 표본 규모, 추적 손실, 사전 계획, 편향 위험을 함께 봐야 합니다. 지수 2는 두 사건 변화에 통계적 유의성이 민감하다는 사실을 알려 줍니다.
원문과 출처 정보
한국어 제목은 이해를 돕기 위한 LTCT 번역입니다. 한글 제목 뒤 괄호에 원제를 함께 표기했습니다. 저자·학술지·원문 버전은 원문 서지정보를 기준으로 확인할 수 있습니다.
무작위 대조시험 결과의 통계적 유의성은 자주 취약하다: 취약성 지수의 제안 (The Statistical Significance of Randomized Controlled Trial Results Is Frequently Fragile: A Case for a Fragility Index)
Michael Walsh et al. (2014). Journal of Clinical Epidemiology, 67(6), 622–628.
- 자료 성격
- 동료심사 학술지 공개 전문 · CC BY-NC-ND
- 읽은 버전
- 2014년 게재판 7쪽 PDF, 2014-02-05 온라인 공개
- 확인 범위
- 학술지 공개 PDF 전체의 포함 기준, 399개 시험의 계산 절차, 표본·사건·지수·추적 손실 결과, 논의와 한계 확인
- 원문 확인일
이 글은 한국어 해설이며 원문 전문 번역이 아닙니다. 도식과 활동의 제작·재구성 범위는 각 그림과 본문에 표시했습니다. 자료 선정과 출처 기준