유의확률(p값) 하나로 효과의 크기와 진실까지 말할 수 있을까?

그림에서 무엇을 볼까요?

p값, 효과크기, 불확실성, 보고 투명성의 네 칸을 따로 확인하도록 구성한 패널.

LTCT 가상 자료 A는 평균 차이 1점, 표준오차 0.4점이고 B는 차이 6점, 표준오차 4점입니다. A는 작은 효과라도 p값이 낮을 수 있고 B는 큰 점추정치라도 불확실성이 큽니다. 어느 쪽이 교육적으로 중요한지는 최소 중요 차이와 비용을 따로 정해야 합니다.

아래 활동은 p값·효과크기·사전등록 여부를 바꾸어 보고 문장이 어떻게 달라지는지 보여 줍니다. 실제 표본에서 p값을 재계산하지 않는 해석 훈련용 모형입니다.