유의확률(p값)이 0.05면 ‘이 결론이 틀릴 확률’도 5%일까?

그림에서 무엇을 볼까요?

1000개 가설을 실제 효과 100과 없음 900으로 나누고 참 양성 80, 거짓 양성 45를 계산한 빈도 나무

1,000개 가설 중 실제 효과가 100개이고 검정력이 80%라면 참 양성은 약 80개입니다. 나머지 900개에 유의수준 5%를 적용하면 거짓 양성은 약 45개입니다. 양성 125개 중 거짓은 45개로 36%입니다.

이 자체 예시는 독립 검정, 정확한 검정력과 유의수준을 가정합니다. 실제 연구에서는 효과크기 분포, 중도분석, 선택적 보고가 더해질 수 있습니다. p값 하나가 이 분모를 알려 주지 않습니다.