읽기

통계적으로 유의한 결과가 곧 참인 결론은 아닌 이유

존 이오아니디스는 발표된 연구 결과의 신뢰도가 유의수준 하나로 결정되지 않으며, 연구 전 가능성·검정력·편향·반복 검사의 수에 함께 좌우된다는 수리적 틀을 제시합니다.

핵심 주장과 근거

• 통계적 유의성은 결론의 참을 직접 보증하지 않습니다. 양성 결과의 예측가치는 연구 전 참일 가능성, 검정력, 제1종 오류를 함께 고려해야 달라집니다.
• 저자는 설계·분석·보고의 유연성과 선택적 보고를 편향으로 모형화하며, 편향이 커질수록 발표된 양성 결과가 실제 관계일 가능성이 낮아질 수 있다고 설명합니다.
• 많은 가설이나 여러 연구팀이 같은 질문을 반복해 탐색할 때, 유의한 결과 하나만 골라 주목하면 전체 검사 맥락을 잃을 수 있습니다.
• 개선 방향으로 충분한 검정력, 낮은 편향, 사전 등록과 명확한 연구 절차, 단일 연구보다 증거 전체의 검토를 제안합니다.

생각을 잇는 질문

같은 유의수준을 얻은 두 연구라도 어느 결과를 더 신뢰할지 판단하려면, 연구 전 가능성·검정력·분석 선택·전체 증거 가운데 무엇을 추가로 확인해야 할까요?

사실 요약: 이오아니디스는 통계적으로 유의한 한 결과의 사후 신뢰도가 연구 전 참일 가능성, 검정력, 제1종 오류, 편향, 여러 팀의 반복 검사에 따라 달라지는 모형을 제시합니다. 작은 연구, 작은 효과, 많은 가설 탐색, 유연한 분석과 선택적 보고가 신뢰도를 낮출 수 있으며 한 연구보다 증거 전체를 보아야 한다고 논합니다. 편집자의 해석·질문: 제목을 ‘모든 논문이 거짓’이라는 사실 선언으로 읽기보다, 어떤 연구 환경에서 양성 결과의 예측가치가 낮아지는지 조건을 따지는 논증으로 읽어야 합니다.