한쪽만 유의하면 두 효과가 서로 다른 걸까?

그림에서 무엇을 볼까요?

가 반 효과 4 표준오차 1.9와 나 반 효과 2 표준오차 1.9를 각각 영과 비교하고, 차이 2의 표준오차 약 2.69를 직접 비교한 표.

가 반의 평균 변화는 4점, 표준오차 1.9점이고 나 반은 2점, 표준오차 1.9점이라고 가정합니다. 영과 비교하면 가의 z값은 약 2.11이라 양측 p값이 .05보다 작고, 나는 약 1.05라 .05보다 큽니다. 여기까지만 보면 ‘가만 효과’라고 말하기 쉽습니다.

하지만 두 반이 독립이라는 단순 가정에서 차이의 표준오차는 √(1.9²+1.9²)≈2.69입니다. 효과 차이 2의 z값은 약 0.74여서 강한 차이 증거가 아닙니다. 이 숫자는 논문의 실제 자료가 아니라 계산 원리를 맞추기 위한 자체 예시입니다. 실제 학급은 독립성, 군집과 사전 점수를 따로 모델링해야 합니다.