함께 변하는 두 값 사이에는 제3의 경로가 있을 수 있다
산악 기상 관측소 기록에서 더운 날 방문자 100명 중 80명이 찬 음료를 사고 12명이 어지럼을 신고했으며, 선선한 날 방문자 100명 중 30명이 사고 3명이 신고했다고 합시다. 두 값은 같은 방향으로 움직입니다. 그러나 이 표는 ‘음료를 마시면 신고가 늘어난다’는 실험이 아닙니다. 기온이 구매와 열 관련 증상 모두에 영향을 주는 공통 원인일 수 있습니다.
연관은 한 변수가 다른 값과 함께 달라지는 자료의 모양입니다. 인과 효과는 같은 대상에게 한 선택을 했을 때의 결과와, 달리 선택했을 때의 결과 차이를 묻습니다. 한 사람에게 두 선택을 같은 순간에 모두 적용해 볼 수 없으므로 비교 가능한 집단과 설계가 필요합니다. 관찰된 차이를 곧바로 인과 효과라고 부르려면 이 비교가 왜 공정한지 설명해야 합니다.
공통 원인 그림에서는 기온에서 찬 음료 구매로, 기온에서 어지럼 신고로 화살표를 그립니다. 구매와 신고 사이에 직접 화살표를 그리지 않아도 둘은 함께 움직일 수 있습니다. 화살표는 자료만 보고 자동으로 발견한 사실이 아니라, 시간 순서와 분야 지식을 바탕으로 검토할 가정을 명시한 것입니다.
참고 · Austin Bradford Hill / Proceedings of the Royal Society of Medicine — 관찰된 연관에서 인과를 판단할 때 살필 관점 ↗
인과 주장은 설계와 가정을 함께 써야 한다
Hill은 환경과 질병의 연관을 인과로 해석할 때 강도, 여러 조건에서의 일관성, 원인이 결과보다 먼저인지, 용량에 따른 변화, 실험 등 여러 관점을 살피라고 제안했습니다. 그러나 어느 하나도 논쟁 없이 인과를 증명하거나 반증하지 않고, 모든 항목이 반드시 충족되어야 하는 것도 아니라고 분명히 했습니다. 체크 표시 개수로 인과를 자동 판정하는 표가 아닙니다.
Cochrane 지침은 개입 효과를 비교할 때 고품질 무작위 시험이 편향 가능성을 줄이는 중요한 설계라고 설명합니다. 무작위 배정은 결과에 영향을 주는 요인들이 두 집단에 평균적으로 균형을 이루도록 하여 공통 원인에 의한 혼란을 막으려 합니다. 그렇다고 무작위라는 이름만으로 충분하지는 않습니다. 배정 은폐, 이탈, 누락 자료, 측정 방식과 표본 오차를 함께 점검해야 합니다.
무작위화가 불가능하거나 비윤리적인 질문도 많습니다. 그때 관찰 연구를 버리는 것이 아니라, 목표로 삼은 가상 시험을 먼저 쓰고 어떤 혼란 요인을 설계나 분석으로 다뤘는지, 어떤 요인이 미측정으로 남았는지 밝힙니다. 통계적 보정은 측정한 변수와 모형 가정에 의존하므로 ‘보정했다’가 ‘모든 원인을 제거했다’와 같지는 않습니다.
참고 · Barnaby C. Reeves 외 / Cochrane — 비무작위 연구에서 혼란과 설계 특징을 점검하는 지침 ↗
같은 숫자도 질문과 비교 방식에 따라 말할 수 있는 범위가 달라진다
아래 활동에서 더운 날과 선선한 날을 비교하면 신고율 차이는 9퍼센트포인트입니다. 더운 날만 고정한 가상 관찰에서는 구매·비구매 집단이 모두 12%지만 활동량이 측정되지 않았습니다. 무료 물 제공을 무작위 배정한 가상 실험에서는 두 집단이 모두 8%입니다. 마지막 결과는 ‘물 제공’이라는 구체적 개입에 대한 것이며, 모든 음료와 모든 사람에게 확대할 수 없습니다.
직접 확인할 때는 먼저 원인 후보, 결과, 개입 시점, 공통 원인 후보를 네 칸에 적으세요. 다음으로 비교 집단이 같은 모집 기준과 시점에서 만들어졌는지, 결과 측정과 누락 처리가 같은지 확인합니다. 마지막에는 ‘이 결론은 어떤 개입, 사람, 기간, 가정 아래 성립하는가’를 한 문장으로 제한합니다.
업무에도 적용할 수 있습니다. 교육 참여자 성과가 높다고 교육의 효과라고 말하기 전에, 원래 동기와 근무 여건이 참여와 성과에 함께 영향을 주었는지 묻습니다. 광고 노출과 구매가 함께 늘었다면 계절과 할인 행사가 공통 원인인지 살펴봅니다. 다음에 두 값이 함께 움직이는 그래프를 만나면, 직접 화살표보다 먼저 숨어 있을 세 번째 화살표를 그려 보세요.