같은 방법이 두 집단에서 모두 앞서는데 전체에서는 뒤진다
훈련법 A와 B를 쉬운 과제와 어려운 과제에 적용했다고 하자. 쉬운 과제에서는 A가 10명 중 9명, B가 100명 중 80명을 성공시켜 A가 90% 대 80%로 앞선다. 어려운 과제에서도 A가 100명 중 30명, B가 10명 중 2명을 성공시켜 A가 30% 대 20%로 앞선다. 그런데 두 난이도를 합치면 A는 110명 중 39명, B는 110명 중 82명이 성공한다. 전체 성공률은 약 35.45% 대 74.55%로 B가 훨씬 높다. 이 수치는 원자료가 아니라 구조를 또렷하게 보이기 위한 교육용 가상 자료이며, 그림도 현대적 상상 장면이다.
문단 자료[3]
이름보다 오래된 현상을 심슨이 해석의 문제로 세웠다
부분집단과 전체집단의 연관이 달라지는 현상은 칼 피어슨이 1899년, 조지 율이 1903년에 이미 다루었다. 에드워드 심슨은 1951년 「분할표에서 상호작용의 해석」에서 같은 수치 구조라도 맥락에 따라 부분표가 더 설득력 있는 경우와 합친 표가 더 설득력 있는 경우를 나란히 보였다. 논문은 기계적으로 표를 쪼개거나 합치는 절차가 해석을 보장하지 않는다고 지적했다. ‘심슨의 역설’이라는 이름은 훗날 굳어졌으므로, 심슨이 최초 발견자였다고 쓰거나 1951년 논문에 오늘날의 모든 인과 설명이 이미 있었다고 말해서는 안 된다.
그림 확대해서 읽기
확대한 그림은 좌우로 밀어 살펴볼 수 있습니다.
먼저 네 칸의 분자와 분모를 그대로 읽는다
쉬운 과제 표에서 A의 성공률은 9/10=90%, B는 80/100=80%다. 어려운 과제 표에서 A는 30/100=30%, B는 2/10=20%다. 두 집단 모두 A가 10%포인트 앞선다. 여기서 “A가 두 번 이겼다”는 말은 각 난이도 안에서 같은 난이도의 참가자를 비교했다는 뜻이다. 성공자 수만 9와 80, 30과 2로 비교하면 분모가 사라지고, 90과 80을 다시 단순 평균하면 각 방법이 어떤 난이도에 얼마나 많이 배정되었는지가 사라진다. 비율을 읽을 때에는 분자와 분모, 집단의 경계를 한 묶음으로 보아야 한다.
문단 자료[3]
그림 확대해서 읽기
확대한 그림은 좌우로 밀어 살펴볼 수 있습니다.
합친 비율은 부분 비율의 단순 평균이 아니다
A의 전체 성공률은 (9+30)/(10+100)=39/110≈35.45%다. B의 전체 성공률은 (80+2)/(100+10)=82/110≈74.55%다. 쉬운 집단과 어려운 집단의 성공률을 각각 절반씩 더한 값이 아니다. 전체 비율은 각 부분 성공률에 그 부분이 전체 분모에서 차지하는 비중을 곱한 가중평균이다. 그래서 모든 부분 비율이 그대로여도 각 방법의 난이도 구성비가 달라지면 전체 비율이 크게 달라질 수 있다. 계산이 모순된 것이 아니라 서로 다른 가중치를 쓴 두 평균을 비교한 것이다.
문단 자료[3]
그림 확대해서 읽기
확대한 그림은 좌우로 밀어 살펴볼 수 있습니다.
A는 어려운 과제를, B는 쉬운 과제를 훨씬 많이 맡았다
A 참가자 110명 가운데 100명은 어려운 과제이고 10명만 쉬운 과제다. 반대로 B 참가자 110명 가운데 100명은 쉬운 과제이고 10명만 어려운 과제다. 성공하기 쉬운 집단의 비중은 A에서 10/110, B에서 100/110이다. 따라서 A의 90%는 작은 무게를 받고 30%는 큰 무게를 받는다. B에서는 80%가 큰 무게, 20%가 작은 무게를 받는다. 부분집단 안의 성과 차이보다 난이도 구성의 차이가 전체 평균을 더 크게 끌어 움직여 순위가 뒤집힌다.
문단 자료[3]
그림 확대해서 읽기
확대한 그림은 좌우로 밀어 살펴볼 수 있습니다.
가중평균을 쓰면 뒤집힘의 자리가 정확히 보인다
A는 (10/110)×0.90+(100/110)×0.30=39/110이다. B는 (100/110)×0.80+(10/110)×0.20=82/110이다. 두 식은 0.90과 0.30, 0.80과 0.20이라는 부분 성공률뿐 아니라 10 대 100, 100 대 10이라는 서로 반대인 가중치를 품고 있다. 가중치는 단순한 계산 장식이 아니라 각 방법이 어떤 사례를 얼마나 많이 만났는지를 나타낸다. 표를 합치는 순간 난이도별 차이는 하나의 평균으로 압축되지만, 그 평균을 만든 구성은 사라지지 않고 숫자 안에 남는다.
문단 자료[3]
그림 확대해서 읽기
확대한 그림은 좌우로 밀어 살펴볼 수 있습니다.
같은 난이도 비중으로 맞추면 A가 다시 앞선다
비교 목적이 “두 방법이 똑같은 난이도 구성을 만났다면 어느 쪽의 성공률이 높은가”라면 공통 가중치를 정해 표준화할 수 있다. 쉬운 과제와 어려운 과제를 각각 50%씩 놓으면 A는 0.5×90%+0.5×30%=60%, B는 0.5×80%+0.5×20%=50%다. 이 자료에서는 두 난이도 모두 A가 정확히 10%포인트 앞서므로 어떤 공통 가중치를 쓰더라도 A가 10%포인트 앞선다. 다만 50 대 50은 관찰된 전체 성공률이 아니라 비교를 위해 만든 기준 인구의 결과다. 표준화에는 어떤 대상 집단을 기준으로 삼았는지 밝혀야 한다.
문단 자료[3]
그림 확대해서 읽기
확대한 그림은 좌우로 밀어 살펴볼 수 있습니다.
전체 질문과 같은 조건의 질문은 서로 다른 답을 요구한다
“실제로 관찰된 A 참가자와 B 참가자 가운데 어느 쪽에서 성공자가 더 많았는가”라는 기술 질문에는 전체 35.45%와 74.55%가 맞는 답이다. “난이도가 같은 사람끼리 비교하면 어느 방법의 성공률이 높은가”라는 층화 질문에는 각 집단의 90 대 80, 30 대 20이 답이다. “한 사람에게 A 대신 B를 배정하면 결과가 어떻게 달라지는가”라는 인과 질문은 관찰 비율만으로 자동 결정되지 않는다. 배정 방식과 누락된 변수, 시간 순서를 더 알아야 한다. 하나의 표가 세 질문을 모두 대신하도록 만들 때 역설이 판단 오류로 바뀐다.
그림 확대해서 읽기
확대한 그림은 좌우로 밀어 살펴볼 수 있습니다.
난이도가 배정과 성공에 함께 영향을 주면 교란이 생긴다
가상 자료에서 난이도가 훈련법 선택에도 영향을 주고 성공에도 영향을 준다고 가정해 보자. 어려운 과제를 맡은 사람이 A를 더 자주 받았고, 난이도 자체가 성공을 낮춘다면 난이도는 방법과 성공의 관계에 교란 경로를 만든다. 같은 난이도 안에서 비교하거나 적절히 표준화하면 이 경로를 막는 데 도움이 된다. 그러나 화살표의 방향은 표만 보고 정할 수 없다. 과제 배정 규칙, 측정 시점, 연구 설계를 알아야 한다. 인과 도식은 숫자에 숨어 있던 가정을 드러내는 장치이지, 관찰표에서 저절로 읽혀 나오는 결론이 아니다.
그림 확대해서 읽기
확대한 그림은 좌우로 밀어 살펴볼 수 있습니다.
제3변수라고 해서 언제나 나누어 보아야 하는 것은 아니다
심슨의 역설을 “제3변수가 보이면 반드시 층화하라”는 규칙으로 바꾸면 또 다른 오류가 생긴다. 어떤 변수가 처치의 결과로 생긴 매개변수라면 그것을 고정했을 때 전체 효과의 일부를 지워 버릴 수 있다. 두 원인의 공통 결과인 충돌변수를 조건으로 삼으면 원래 없던 연관이 생길 수도 있다. 반대로 처치 이전의 공통 원인인 교란변수는 조정해야 할 수 있다. 따라서 합칠지 나눌지는 변수 이름이나 상관만으로 결정하지 않고, 원인과 결과의 시간 순서와 연구 질문에 맞는 인과 구조를 검토해 결정한다.
그림 확대해서 읽기
확대한 그림은 좌우로 밀어 살펴볼 수 있습니다.
무작위 배정은 가중치의 불균형을 설계 단계에서 줄인다
충분히 큰 무작위 배정 연구에서는 참가자의 난이도 같은 처치 이전 특성이 A와 B에 비슷한 비율로 배분되도록 기대할 수 있다. 각 난이도에서 A와 B가 받는 비중이 같다면 두 전체 성공률은 같은 가중치를 쓰게 되고, 이 가상 자료처럼 모든 난이도에서 A가 앞설 때 전체 순위가 반대로 뒤집히는 구조는 생기지 않는다. 실제 유한 표본에서는 우연한 불균형이 남을 수 있고, 결측과 이탈, 비순응이 배정 뒤에 새로운 차이를 만들 수도 있다. 그래서 무작위화 여부만 확인하는 데서 멈추지 않고 실제 배정·분석 집단과 누락 자료를 함께 살핀다.
그림 확대해서 읽기
확대한 그림은 좌우로 밀어 살펴볼 수 있습니다.
심슨의 원래 예는 맥락이 답을 고른다는 점을 보여 준다
심슨은 같은 확률표에 먼저 카드의 색·종류·오염 여부라는 이름을 붙였다. 그 경우에는 합친 표가 색과 카드 종류의 관계를 묻는 데 더 자연스러운 답으로 제시되었다. 이어 같은 수치에 성별·처치·생존이라는 이름을 붙이자, 성별 안에서 처치가 생존에 유리하다는 부분표를 무시하기 어려워졌다. 수치는 같은데 “어느 표가 합리적인가”가 달라진 이유는 확률 법칙이 흔들려서가 아니다. 변수의 의미와 자료가 생성된 방식, 우리가 묻는 질문이 달라졌기 때문이다. 역설은 표의 산술보다 해석 규칙을 시험한다.
그림 확대해서 읽기
확대한 그림은 좌우로 밀어 살펴볼 수 있습니다.
관찰된 차이와 처치 효과를 같은 말로 부르지 않는다
A의 전체 성공률이 낮다는 사실은 이 표에서 관찰된 연관을 정확히 기술한다. 그러나 그 사실만으로 A가 성공을 낮추는 원인이라고 말할 수는 없다. A가 어려운 사례에 집중 배정된 까닭이 결과에 영향을 주었을 수 있기 때문이다. 반대로 부분집단에서 A가 높다는 사실도, 난이도 외의 교란이 없고 각 집단에서 두 방법을 공정하게 비교할 수 있다는 가정 없이는 인과 효과를 확정하지 못한다. 통계적 연관은 자료에서 계산하고, 인과 효과는 연구 설계와 가정까지 합쳐 추론한다. 두 층위를 구분해야 ‘전체가 맞다’와 ‘부분이 맞다’의 말싸움에서 벗어난다.
그림 확대해서 읽기
확대한 그림은 좌우로 밀어 살펴볼 수 있습니다.
실제 자료에서는 분모와 분할 규칙부터 감사를 시작한다
심슨형 뒤집힘을 만났을 때에는 먼저 각 칸의 성공자 수와 전체 수를 적고, 합계가 맞는지 다시 계산한다. 다음으로 부분집단이 결과를 본 뒤 임의로 잘린 것은 아닌지, 서로 겹치거나 빠진 사례가 없는지 확인한다. 이어 제3변수가 처치 이전인지 이후인지, 비교하려는 대상 인구가 무엇인지, 각 집단에 비교 가능한 사례가 충분한지 살핀다. 마지막으로 원자료의 단위와 결측 처리, 가중치의 근거를 공개한다. 세밀한 분할은 언제나 더 진실한 것이 아니라, 질문과 설계가 지지할 때만 더 적절한 비교가 된다.
그림 확대해서 읽기
확대한 그림은 좌우로 밀어 살펴볼 수 있습니다.
막대그래프의 높이보다 분모와 구성비를 함께 표시한다
전체 막대 두 개만 그리면 B가 크게 앞선다는 사실은 보이지만 왜 뒤집혔는지는 숨겨진다. 반대로 부분 성공률 네 개만 그리면 실제 배정 규모의 차이가 사라진다. 좋은 시각화는 각 비율 옆에 성공자/전체를 쓰고, 방법별 난이도 구성비를 별도 막대나 점으로 보여 준다. 공통 가중치로 표준화한 값은 관찰값과 다른 색이나 선으로 구분한다. 축을 잘라 차이를 과장하거나, 면적이 확률과 맞지 않는 그림을 쓰지 않는다. 표·비율·가중치가 같은 이야기를 하도록 만드는 것이 시각적 검수의 핵심이다.
문단 자료[3]
그림 확대해서 읽기
확대한 그림은 좌우로 밀어 살펴볼 수 있습니다.
뒤집힌 평균을 만나면 다섯 질문을 순서대로 묻는다
첫째, 각 비율의 분자와 분모는 무엇인가. 둘째, 두 비교 대상의 부분집단 비중은 같은가. 셋째, 전체값은 어떤 가중평균으로 계산되었는가. 넷째, 묻는 것은 관찰된 전체 성과인가, 같은 조건의 비교인가, 인과 효과인가. 다섯째, 제3변수는 교란변수·매개변수·충돌변수 가운데 어떤 역할을 하는가. 심슨의 역설은 어느 표가 늘 옳다는 공식이 아니다. 서로 다른 질문과 가중치가 한 숫자에 겹쳐 보일 때, 자료가 만들어진 구조를 다시 펼쳐 보라는 경고다. 다음 회차에서는 각자에게 유리한 선택이 함께 모이면 모두에게 불리해지는 죄수의 딜레마를 살핀다.
그림 확대해서 읽기
확대한 그림은 좌우로 밀어 살펴볼 수 있습니다.