두 집단의 차이를 ‘유의·비유의’ 대신 가능한 값의 분포로 보면 무엇이 달라질까?
Kruschke의 BEST 방법은 평균·산포·효과크기의 사후분포와 실질적으로 같은 영역을 함께 제시해 이분법적 검정이 숨기는 불확실성을 보여줍니다.
그림에서 무엇을 볼까요?
평균 차이 축에 95퍼센트 신용구간과 -1에서 1의 실질적 동등 영역을 겹쳐 놓은 개념도
자체 예시에서 평균 차이의 95% 신용구간이 -0.5~4.5점이고 실질적 동등 영역을 -1~1점으로 정했다고 합시다. 분포는 0도 포함하고 의미 있는 양의 효과 영역도 포함하므로 자료가 두 가능성을 충분히 좁히지 못했습니다.
‘p>.05이므로 같다’나 ‘평균이 양수이므로 효과가 있다’ 가운데 어느 결론도 불확실성을 충실히 표현하지 못합니다. 더 큰 표본, 측정 정밀도와 사전 기준이 필요합니다.
함께 확인할 점
BEST의 결과는 선택한 사전분포와 Student-t 모형에 조건부이며 다른 모형과의 민감도 검토가 필요합니다.
사후분포는 표본추출과 측정·배정의 편향을 자동으로 고치지 않으며 인과 해석은 연구 설계에 달려 있습니다.
생각해 볼 질문
신용구간이 실질적 동등 영역과 의미 있는 효과 영역을 모두 덮는다면 가장 정직한 결론은 무엇인가요?
작고 불확실한 연구가 효과를 실제보다 크게 보이게 할 수 있을까?
카드 뒤집기는 규칙 검사가 아니라 정보 선택일 수도 있을까?
백분율을 사람 수로 바꾸면 기저율의 분모가 보일까?