차이가 유의하지 않으면 두 방법이 같은 걸까?

그림에서 무엇을 볼까요?

허용 차이 마이너스 5점과 플러스 5점 사이에 완전히 들어오는 좁은 구간과 경계를 넘는 두 구간을 비교한 그림

두 교육 프로그램의 채점 결과를 비교했더니 통상적인 차이 검정에서 유의한 차이가 나오지 않았다고 합시다. 흔히 ‘두 방법은 같다’고 줄여 말하지만, 그 검정이 직접 물은 것은 관찰된 차이가 0이라는 가설과 얼마나 어긋나는지입니다. 표본이 적거나 측정값이 흔들리면 실제 차이가 있어도 검정이 구분하지 못할 수 있습니다.

예를 들어 평균 차이 추정치가 +0.5점이어도 불확실성 구간이 −8점에서 +9점이면 0을 포함합니다. 동시에 실무에서 무시할 수 없는 큰 음의 차이와 양의 차이도 포함합니다. 이 자료는 ‘큰 차이가 없다’고 좁혀 말할 만큼 정밀하지 않으므로, 비유의 결과는 결론 보류에 가깝습니다.