p=0.05를 ‘효과가 없을 확률 5%’로 읽는 설명은 흔합니다. 그러나 p값은 효과 없음이 참이라고 가정했을 때 현재만큼 또는 더 극단적인 자료가 나올 확률입니다. 연구 결론이 틀릴 확률은 다른 조건과 계산을 요구합니다.
연구를 읽는 두 가지 질문
모의실험과 베이즈 계산으로 오해를 드러냈습니다
Colquhoun의 2014년 Royal Society Open Science 논문은 p값의 반복표집 성질과 양성예측값을 모의실험·수식으로 비교합니다. p=0.05라는 관측을 귀무가설의 사후확률로 읽을 수 없고, 실제 효과의 사전 비율과 검정력이 필요함을 강조합니다. [1]
희귀한 참 가설에서는 양성 중 거짓 비율이 커집니다
참 효과가 드물고 검정력이 낮은 탐색 환경에서는 p<.05 결과 가운데 거짓 양성이 차지하는 비율이 5%보다 훨씬 클 수 있습니다. 논문은 특정 가정 아래 최소 30% 이상이 될 수 있는 예를 제시해, 유의수준과 발견의 오류위험을 구분합니다. [1]
숫자는 가정에 민감합니다
거짓 양성 위험은 사전확률, 대립가설의 효과크기, 검정력, 선택적 보고 여부에 따라 바뀝니다. 따라서 ‘p=.05면 오류 30%’도 모든 연구의 고정 법칙이 아닙니다. 계산에 넣은 가정을 함께 제시해야 합니다. [1]
후속 논쟁을 포함한 하나의 제안입니다
논문은 더 엄격한 기준과 ‘유의’라는 표현의 자제를 주장했지만 통계학계의 유일한 합의안은 아닙니다. 신뢰구간, 효과크기, 사전등록, 복제와 맥락을 함께 보고 판단해야 합니다. [1]
1000개 가설의 분모를 그리기
1,000개 가설 중 실제 효과가 100개이고 검정력이 80%라면 참 양성은 약 80개입니다. 나머지 900개에 유의수준 5%를 적용하면 거짓 양성은 약 45개입니다. 양성 125개 중 거짓은 45개로 36%입니다.
이 자체 예시는 독립 검정, 정확한 검정력과 유의수준을 가정합니다. 실제 연구에서는 효과크기 분포, 중도분석, 선택적 보고가 더해질 수 있습니다. p값 하나가 이 분모를 알려 주지 않습니다.
LTCT에서는 p값 정의, 사전 분모, 양성예측값 계산을 서로 다른 칸에 놓고 어떤 질문에 답하는 수치인지 연결하게 합니다.
어디까지 말할 수 있을까요?
- 논문의 거짓 양성 위험 수치는 특정 사전확률·검정력·효과 가정에 따른 예시이며 보편 상수가 아닙니다.
- 베이즈적 보충 수치도 사전분포 선택에 의존하므로 가정 공개와 민감도 검토가 필요합니다.
원문에 근거한 한계와 LTCT의 적용 범위 검토입니다. [1]
교육 현장과 연결해 보면
통계 수업에서 가정한 모형 아래 여러 자료가 나오는 모의실험을 관찰합니다. 학생은 그 가정을 출발점으로 한 확률 문장과 관찰 뒤 가설이 맞을 확률을 묻는 문장을 나란히 써 봅니다.
교사는 p값 설명에 어떤 가정과 어떤 관찰이 들어가는지 표시하게 합니다. ‘결론이 틀릴 확률’로 바꿔 읽은 설명을 찾아, 조건의 방향을 보존하는 문장으로 고칩니다.
p=.05가 P(효과 없음｜자료)=.05를 뜻하지 않는 핵심 이유는 무엇인가요?
생각을 비교할 해설 펼치기
p값은 P(자료 또는 더 극단적 자료｜효과 없음) 방향의 확률이며, 조건을 뒤집으려면 사전확률과 대립가설 아래 자료 가능성이 추가로 필요합니다.
원문과 출처 정보
한국어 제목은 이해를 돕기 위한 LTCT 번역입니다. 한글 제목 뒤 괄호에 원제를 함께 표기했습니다. 저자·학술지·원문 버전은 원문 서지정보를 기준으로 확인할 수 있습니다.
거짓 발견률과 p값 오해에 관한 조사 (An Investigation of the False Discovery Rate and the Misinterpretation of p-values)
David Colquhoun (2014). Royal Society Open Science 1:140216.
- 자료 성격
- 공개 학술자료
- 읽은 버전
- 2014-07-20 arXiv 공개본, 2014-11-19 학술지 출판
- 확인 범위
- 공개 전문: 모의실험, 조건부확률, 거짓 양성 위험 계산, 권고와 한계
- 원문 확인일
이 글은 한국어 해설이며 원문 전문 번역이 아닙니다. 도식과 활동의 제작·재구성 범위는 각 그림과 본문에 표시했습니다. 자료 선정과 출처 기준