논리적 사고

작은 연구에서 발견된 효과는 왜 더 커 보일까?

낮은 검정력은 참 효과를 놓칠 뿐 아니라 발견된 효과를 과장하고 재현 가능성을 낮출 수 있습니다.

그림에서 무엇을 볼까요?

효과 추정치 분포의 오른쪽 꼬리 중 유의 문턱을 넘은 값만 선택되어 평균이 오른쪽으로 이동한 모습이다.

실제 향상이 작아도 20명짜리 연구를 여러 번 하면 우연히 큰 차이가 난 몇 번만 유의 문턱을 넘을 수 있습니다. 그 결과만 모으면 평균 향상이 부풀어 보입니다.

그림은 전체 추정치 분포에서 문턱을 넘은 오른쪽 꼬리만 선택되는 과정을 보여 줍니다.

검정력 계산은 가정한 효과 크기와 분산에 의존합니다.

큰 표본도 측정 오류와 편향된 설계를 자동으로 해결하지 않습니다.

표본이 작아도 유의했다면 효과가 강하다는 뜻일까요?