논리적 사고

작고 불확실한 연구가 효과를 실제보다 크게 보이게 할 수 있을까?

Gelman과 Carlin의 Type S·Type M 오류를 통해 유의성 여부를 넘어 방향 오류와 크기 과장을 설계 단계에서 점검합니다.

그림에서 무엇을 볼까요?

예상 효과와 표준오차의 비에 따라 방향 오류와 크기 과장 위험이 달라지는 세 구역 그래프.

LTCT 가상 예비연구에서 실제로 기대하는 향상은 2점, 추정 표준오차는 4점이라고 가정합니다. 유의한 결과만 본다면 큰 양의 추정치가 선택될 가능성이 높아 크기 과장이 생길 수 있습니다.

아래 활동에서 예상 효과와 표준오차를 바꾸면 신호대잡음비, 방향 오류 경고, 과장 배율 교육값이 달라집니다. 이는 원 논문의 정확한 수치표를 재현하지 않는 정규분포 기반 단순 모형입니다.

Type S·M 계산은 실제 효과에 대한 사전 가정에 민감합니다.

교육 활동의 단순 근사값은 원 논문의 시뮬레이션·적분 결과를 대체하지 않습니다.

작은 연구가 언제나 틀렸다는 뜻이 아니며 측정·설계·선택 과정을 함께 봐야 합니다.

p값이 0.05보다 작으면 효과크기도 믿을 만한가요?