한 집단에서만 유의하면 집단별 효과도 다른 걸까?

그림에서 무엇을 볼까요?

A 집단 효과 플러스 6점과 95% 구간 플러스 2에서 플러스 10, B 집단 플러스 2점과 마이너스 2에서 플러스 6, 직접 차이 플러스 4점과 마이너스 1.7에서 플러스 9.7을 세 카드로 비교한 그림

박물관이 종이 보존 처리를 시험했다고 합시다. A 집단의 색 안정성은 기존 처리보다 평균 6점 높고 95% 신뢰구간은 +2~+10점입니다. B 집단은 평균 2점 높지만 구간은 −2~+6점입니다. A의 구간은 0을 제외하고 B는 0을 포함하므로, 보고서에는 흔히 ‘A에서만 효과가 있었다’고 적힙니다.

그러나 서로 다른 두 질문이 섞였습니다. 각 집단의 질문은 ‘그 집단의 효과가 0과 다른가?’입니다. 우리가 알고 싶은 질문은 ‘A와 B의 효과가 서로 다른가?’입니다. 첫 질문을 두 번 답해도 두 번째 질문의 답이 자동으로 나오지 않습니다. 유의성과 비유의성의 차이는 그 자체로 유의한 차이가 아닙니다.