유의한 결과가 나오면 그 가설은 거의 참일까?

연구를 읽는 두 가지 질문

가설 100개를 기대 빈도로 펼쳐 보기

설명용으로 100개 가설 중 10개에 실제 효과가 있고, 검정력은 80%, 거짓 양성률은 5%라고 가정합니다. 참 가설 10개에서는 평균적으로 8개의 참 양성이 기대됩니다. 거짓 가설 90개에서는 4.5개의 거짓 양성이 기대됩니다. 이는 반복 시행의 기대값이라 한 연구 묶음에서 정확히 4.5건이 나온다는 뜻이 아닙니다.

양성으로 나온 기대 결과는 12.5개이고 그중 참 양성의 몫은 8/12.5, 약 64%입니다. 유의수준 5%를 “양성 결과가 거짓일 확률 5%”로 바꾸면 이 차이를 놓칩니다. 그림은 가설의 실제 상태와 검사 결과를 2×2 기대 빈도 표로 분리합니다.

참 가설이 50개라면 같은 검정력과 오류율에서도 양성 중 참의 몫은 크게 달라집니다. 반대로 분석 선택의 편향이 거짓 양성을 늘리면 더 낮아집니다. 실제 연구의 사전 확률과 편향 크기는 알기 어려우므로, 숫자 하나보다 가정에 따른 민감도와 연구 설계를 함께 공개해야 합니다.