같은 표에서 나온 두 개의 순위
직무교육 담당자가 A와 B 강좌 중 하나를 고르려 합니다. 두 강좌에는 각각 100명이 참여했습니다. A에서는 74명, B에서는 42명이 수료했으니 전체 수료율은 A가 높습니다. 그런데 시작 전 기초 경험을 기준으로 나누자 다른 모습이 드러납니다. 경험이 있는 집단은 A 80퍼센트, B 90퍼센트이고, 경험이 없는 집단은 A 20퍼센트, B 30퍼센트입니다. 두 집단 모두 B가 10퍼센트포인트 높습니다.
여기에는 계산 오류가 없습니다. A의 경험 있는 집단은 90명 중 72명이 수료했고, 경험 없는 집단은 10명 중 2명이 수료했습니다. B는 각각 20명 중 18명, 80명 중 24명입니다. A에는 원래 수료율이 높은 집단이 많이 들어 있고, B에는 낮은 집단이 많이 들어 있습니다. 합칠 때 각 집단이 차지하는 비중이 서로 달랐던 것입니다.
먼저 표를 가로로 읽어 같은 경험 수준끼리 비교하세요. 그다음 세로로 읽어 각 강좌에 누가 얼마나 참여했는지 확인하세요. 가로의 질문은 ‘비슷한 출발 조건에서 관찰된 차이는 얼마인가’이고, 세로의 질문은 ‘이 강좌의 실제 참여자 가운데 얼마나 수료했는가’입니다. 두 질문에 답하는 숫자는 모두 필요합니다.
평균을 움직이는 숨은 손잡이
A의 전체 수료율은 80퍼센트와 20퍼센트를 단순히 반씩 섞은 값이 아닙니다. 경험 있는 90명의 비중을 반영하면 0.9×80과 0.1×20을 더한 74퍼센트가 됩니다. B는 0.2×90과 0.8×30을 더해 42퍼센트입니다. 이렇게 집단 크기에 따라 비중을 달리한 계산을 가중평균이라고 합니다. 전체 인원 100명이라는 조건이 같아도 내부 구성비는 다를 수 있습니다.
아래 활동에서 A의 경험 있는 인원을 줄이거나 B의 경험 있는 인원을 늘려 보세요. 각 집단의 수료율은 그대로인데 전체 막대의 길이는 달라집니다. ‘구성비 같게 맞추기’를 누르면 양쪽 모두 경험 있는 사람 50명, 없는 사람 50명으로 계산합니다. 그때 A는 50퍼센트, B는 60퍼센트입니다. 이는 원자료를 정정한 값이 아니라, 같은 구성비라는 비교 기준을 적용한 값입니다.
이번 예시에서는 두 집단 모두 B가 정확히 10퍼센트포인트 높습니다. 따라서 양쪽에 같은 비중을 적용하면 어느 구성비에서도 B의 차이는 10퍼센트포인트로 유지됩니다. 결과를 본 뒤 유리한 비중을 고르기보다, 실제 적용할 대상이 누구인지 먼저 정하고 그 구성에 맞추어 비교하는 편이 설명하기 좋습니다.
어느 숫자를 선택할지는 질문이 정한다
집계 전후에 비교 방향이 뒤집히는 현상은 심프슨의 역설로 알려져 있습니다. 주데아 펄은 이 현상을 다루며 수치의 관계와 어떤 조치가 결과를 바꾸는지에 관한 인과 질문을 구분합니다. 전체 표와 세부 표 가운데 어느 쪽이 의사결정에 필요한지는 자료가 만들어진 과정까지 살펴야 합니다. 집단을 더 잘게 나누는 것만으로 원인 설명이 완성되지는 않습니다.
강좌의 실제 효과를 묻는다면 참여자가 강좌를 스스로 골랐는지, 강사의 지도 시간이나 수료 기준이 같았는지도 확인해야 합니다. 표에는 학습 동기나 이전 성적 같은 다른 차이가 빠져 있을 수 있습니다. 같은 구성비에서 계산한 50퍼센트와 60퍼센트만으로 강좌를 바꾸면 모든 사람의 수료 가능성이 10퍼센트포인트 높아진다고 보장할 수는 없습니다.
이 글의 목표는 더 나은 질문을 만드는 데 있습니다. ‘실제 수료 인원을 알고 싶은가’, ‘같은 구성의 대상에게 결과를 비교하고 싶은가’, ‘강좌 변경의 효과를 알고 싶은가’를 구분해 보세요. 보고서에는 전체 수료율, 집단별 분자와 분모, 참여 조건을 함께 남기세요. 독자는 순위뿐 아니라 그 순위가 어떤 질문에 답하는지도 판단할 수 있습니다.