‘한쪽만 유의’는 두 효과의 차이가 아니다
박물관이 종이 보존 처리를 시험했다고 합시다. A 집단의 색 안정성은 기존 처리보다 평균 6점 높고 95% 신뢰구간은 +2~+10점입니다. B 집단은 평균 2점 높지만 구간은 −2~+6점입니다. A의 구간은 0을 제외하고 B는 0을 포함하므로, 보고서에는 흔히 ‘A에서만 효과가 있었다’고 적힙니다.
그러나 서로 다른 두 질문이 섞였습니다. 각 집단의 질문은 ‘그 집단의 효과가 0과 다른가?’입니다. 우리가 알고 싶은 질문은 ‘A와 B의 효과가 서로 다른가?’입니다. 첫 질문을 두 번 답해도 두 번째 질문의 답이 자동으로 나오지 않습니다. 유의성과 비유의성의 차이는 그 자체로 유의한 차이가 아닙니다.
Altman과 Bland는 두 추정값을 비교하려면 그 차이를 직접 추정하라고 설명합니다. 이 자체 예시에서 A−B는 6−2=+4점입니다. 집단별 구간 폭에서 역산한 표준오차는 각각 약 2.04점이고, 독립 추정이라는 조건에서 차이의 표준오차는 √(2.04²+2.04²)≈2.89점입니다.
따라서 차이의 근사 95% 구간은 +4±1.96×2.89, 곧 −1.7~+9.7점입니다. 0을 포함하므로 자료는 A가 B보다 더 큰 효과를 냈다는 주장과, 실제 효과가 비슷하다는 가능성을 모두 남깁니다. 각 집단의 구간이 겹치는지만 눈으로 보는 것 역시 정식 차이 검정을 대신하지 않습니다.
참고 · Douglas G. Altman, J. Martin Bland — 두 추정값의 차이를 직접 검정하기 ↗
상호작용은 차이를 차이로 비교한다
활동의 ‘차이 확인됨’에서는 A가 +8점(+5~+11), B가 +1점(−2~+4)입니다. 직접 차이는 +7점이고 95% 구간은 +2.8~+11.2점이어서 0을 제외합니다. ‘효과 비슷함’은 두 집단 모두 +4점(+1~+7)이고 차이는 0점, 구간은 −4.2~+4.2점입니다. 같은 규칙으로 세 장면을 비교하면 집단별 유의성보다 차이의 구간이 답에 가깝다는 것을 확인할 수 있습니다.
실제 무작위시험에서는 처치, 집단, 처치×집단 항을 둔 회귀모형의 상호작용 검정을 흔히 사용합니다. 상호작용 항은 처치 효과가 집단에 따라 얼마나 달라지는지를 직접 표현합니다. 결과형과 연구 설계, 층화, 반복 측정에 맞는 모형을 골라야 하며, 같은 사람의 두 측정처럼 추정값이 연관되면 독립식에 공분산을 반영해야 합니다.
집단별 표본이 작으면 각 효과도, 둘의 차이도 넓은 구간을 갖습니다. 전체 효과를 찾도록 설계된 연구는 상호작용을 찾을 검정력이 부족할 수 있습니다. 차이를 확인하지 못한 것을 ‘완전히 동일함’으로 읽지 않고, 중요한 차이를 배제할 만큼 구간이 좁은지 확인해야 합니다.
또한 나이·재료·기관·측정 시점 등 많은 하위집단을 사후에 훑으면 우연한 엇갈림이 늘어납니다. Ferreira와 Patino는 임상적으로 타당한 소수의 하위집단을 미리 정하고, 정식 상호작용 검정과 다른 연구의 재현을 요구하라고 제안합니다.
참고 · Juliana Carvalho Ferreira, Cecilia Maria Patino — 하위집단 분석과 상호작용 검정 ↗
조건과 한계를 함께 보고한다
보고서에는 A와 B의 효과 추정값과 구간, 두 효과의 직접 차이와 구간을 함께 씁니다. ‘A에서 유의, B에서 비유의’만 남기지 않습니다. 하위집단 경계가 사전에 정해졌는지, 분석이 몇 개였는지, 연구가 상호작용을 탐지할 크기였는지, 조정 변수와 결측 처리가 무엇인지도 공개합니다.
이 글의 +6점·+2점은 계산 원리를 보여 주는 고정 교육 사례입니다. 보존 처리의 실제 성능을 측정한 결과가 아니며 특정 재료에 대한 권고도 아닙니다. 큰 독립 표본과 대칭인 근사 95% 구간을 가정했기 때문에, 작은 표본·비율·생존시간처럼 분포가 다른 결과에는 원자료에 맞는 분석이 필요합니다.
주장이 성립하려면 효과 차이의 추정과 불확실성이 연구 설계에 맞게 계산되고, 비교하려던 하위집단이 사전에 정의되며, 우연한 다중 탐색 가능성이 통제돼야 합니다. 통계적 상호작용이 보여도 그 차이가 실무적으로 중요한 크기인지와 다른 현장에서 재현되는지는 별도 질문입니다.
다른 상황으로 옮겨 보세요. 교육 프로그램이 초급자에게만 유의하고 숙련자에게는 유의하지 않거나, 약이 여성에게만 유의하다고 보도될 때 무엇을 요청해야 할까요? 두 집단의 p값을 나열하는 대신 효과의 직접 차이, 그 구간, 사전 계획과 반복 확인을 찾아보세요.
참고 · Juliana Carvalho Ferreira, Cecilia Maria Patino — 하위집단 분석과 상호작용 검정 ↗