유의한 결과가 나오면 그 가설은 거의 참일까?

그림에서 무엇을 볼까요?

100개 가설 중 참 10개와 거짓 90개를 나누고, 검정력 80%로 참 양성 8개, 거짓 양성률 5%로 거짓 양성 기대값 4.5개를 계산한 2대2 표.

설명용으로 100개 가설 중 10개에 실제 효과가 있고, 검정력은 80%, 거짓 양성률은 5%라고 가정합니다. 참 가설 10개에서는 평균적으로 8개의 참 양성이 기대됩니다. 거짓 가설 90개에서는 4.5개의 거짓 양성이 기대됩니다. 이는 반복 시행의 기대값이라 한 연구 묶음에서 정확히 4.5건이 나온다는 뜻이 아닙니다.

양성으로 나온 기대 결과는 12.5개이고 그중 참 양성의 몫은 8/12.5, 약 64%입니다. 유의수준 5%를 “양성 결과가 거짓일 확률 5%”로 바꾸면 이 차이를 놓칩니다. 그림은 가설의 실제 상태와 검사 결과를 2×2 기대 빈도 표로 분리합니다.