자료와 전문가
전체 수료율은 B가 높고, 난도별 수료율은 A가 높습니다. 어느 계산이 맞는지 확인하고, 이 자료로 어디까지 설명할 수 있는지 살펴보겠습니다.
통계학자 데이비드 슈피겔할터의 연구와 저술을 참고하면서, 편집부가 만든 가상 학습 프로그램의 표를 함께 읽겠습니다. 다음 대화는 실제 인터뷰를 옮긴 것이 아니라 자료 읽기를 위한 문헌 기반 가상 대담입니다.1
“B의 수료율 73%, A는 27%.” 정말 B가 더 나을까요?
하나의 숫자에서 질문을 꺼냅니다
한 교육기관에서 운영한 A·B 학습 프로그램의 수료 결과가 발표되었다고 가정해 봅시다. 100명 중 A는 27명, B는 73명이 과제를 마쳤습니다. 숫자만 보면 B가 앞섭니다. 그런데 이것을 프로그램의 우수성이라고 해석하려면 더 읽을 자료가 있습니다.
전체 결과를 계산하면 A 프로그램은 27%, B는 73%입니다. 기사 제목을 ‘B가 더 효과적이다’라고 써도 될까요?
먼저 ‘숫자의 기록’과 ‘차이의 원인’을 나누어 보겠습니다. A 27%, B 73%는 주어진 집계에 맞습니다. 그러나 ‘효과적이다’라고 말하려면 B라는 프로그램 때문에 더 많이 수료했다는 근거가 필요합니다.
그렇다면 각 프로그램의 참여자가 어떤 과제를 맡았는지부터 확인하겠습니다.
예, 전체 분모가 각각 100명으로 같아도 그 100명의 구성이 같다는 보장은 없습니다. 과제의 난도나 참여자의 기초 실력이 다르면 결과에 영향을 줄 수 있습니다.
이런 통계 읽기의 기본을 다룬 전문가는 누구입니까?
케임브리지대학교 통계학 명예교수인 데이비드 슈피겔할터의 저술을 참고할 수 있습니다. 그는 통계의 조건과 불확실성을 독자가 이해하도록 설명해 왔습니다. 지금의 표와 발언은 그의 실제 강의를 옮긴 것이 아니라 편집부가 별도로 만든 자료입니다.
데이비드 슈피겔할터(David Spiegelhalter)는 케임브리지대학교 통계학 명예교수로, 『The Art of Statistics』(2019)에서 일상의 자료와 수치를 읽는 방법을 다룬 연구자입니다. 이번에는 그의 저술에서 중요한 집단 구분의 필요성을 하나의 새 가상 사례에 적용합니다.
| 프로그램 | 참여자 | 수료자 | 수료율 |
|---|---|---|---|
| A | 100명 | 27명 | 27% |
| B | 100명 | 73명 | 73% |
전체 비율은 정확합니다. 그러나 쉬운 과제와 어려운 과제를 맡은 사람이 두 프로그램에 어떻게 배분되었는지는 이 표에 나타나지 않습니다. 다음 표를 함께 읽어 보겠습니다.
두 난도에서 A가 앞서는데, 전체에서는 B가 앞섭니다
집단을 나누어 다시 계산합니다
이번에는 각 집단이 수행한 과제의 난도를 구분합니다. A에서는 어려운 과제를 맡은 사람이 90명, B에서는 쉬운 과제를 맡은 사람이 90명입니다.
| 과제 난도 | A 수료/참여 | A 비율 | B 수료/참여 | B 비율 |
|---|---|---|---|---|
| 어려움 | 18 / 90 | 20% | 1 / 10 | 10% |
| 쉬움 | 9 / 10 | 90% | 72 / 90 | 80% |
| 전체 | 27 / 100 | 27% | 73 / 100 | 73% |
어려운 과제에서는 A가 20%, B가 10%입니다. 쉬운 과제에서도 A가 90%, B가 80%입니다. 그런데 모두 합치면 B가 크게 앞섭니다. 계산을 잘못했습니까?
각 수치는 맞습니다. A는 어려운 과제를 맡은 사람이 훨씬 많고, B는 쉬운 과제를 맡은 사람이 훨씬 많습니다. 전체를 합칠 때 두 난도의 비율에 적용되는 비중이 달라집니다.
어려운 과제 20%와 쉬운 과제 90%를 더해서 2로 나누면 A는 55%인데, 전체 수료율은 27%군요.
참여자가 90명인 집단과 10명인 집단에 같은 비중을 줄 수는 없습니다. A는 0.2×0.9 + 0.9×0.1 = 0.27입니다. B는 0.1×0.1 + 0.8×0.9 = 0.73입니다. 각 난도의 참여 비중을 반영한 가중평균입니다.
그룹 내부에서의 비교와 전체 비율의 비교가 서로 반대 방향이라는 점이군요.
맞습니다. 이런 역전을 심프슨의 역설(Simpson’s paradox)이라고 부릅니다. 이름보다 중요한 것은 전체 수치를 구성하는 집단과 비중을 확인하는 습관입니다.
이제 “A가 더 좋은 프로그램”이라고 쓰면 될까요?
그렇다면 기사 제목을 ‘A 프로그램이 더 우수하다’로 바꾸어야 하지 않을까요?
주어진 표에서 두 난도 모두 A의 수료율이 높다는 기록은 맞습니다. 하지만 참여자의 기초 실력, 평가 시점, 수업 시간, 지원 동기, 난도별 배정 방식도 살펴야 합니다. 하나의 조건을 나누었다고 해서 인과관계가 곧바로 입증되는 것은 아닙니다.
같은 난도에서의 비교와 실제 프로그램의 교육 효과는 다시 구분해야겠군요.
그렇습니다. 설명할 수 있는 범위를 정확히 정합시다. 이 자료로 말할 수 있는 사실은 전체에서는 B가 높고 난도별로는 A가 높다는 것입니다. 이유를 연구하려면 관찰 조건과 배정 과정을 추가로 확인해야 합니다.
이 표는 수료의 ‘원인’을 증명한 자료가 아닙니다. 다만 분모가 같아도 집단 구성이 다르면 통계의 방향이 달라질 수 있다는 사실을 보여 줍니다. 이는 교육 효과를 논하기 전에 확인할 조건입니다.
통계 읽기의 화살표는 조건을 거쳐야 합니다
생각그림
전체 비율
A 27% / B 73%
각 100명
참여자 구성
A: 어려움 90명
B: 쉬움 90명
난도별 비교
어려움 A 20%, B 10%
쉬움 A 90%, B 80%
“B의 수료율이 73%로 A의 27%보다 높으므로 B가 교육에 효과적이다.”
“전체 수료율은 B가 높았지만, 난도별 수료율은 모두 A가 높았다. 난도별 참여 인원의 차이가 전체 비율에 반영되었으며 교육 효과의 원인은 추가 검토가 필요하다.”
전체 수료율 차이는 73−27=46퍼센트포인트입니다. 이를 무심코 ‘46% 높다’고 적으면 비율의 차이와 상대 증가율을 혼동할 수 있습니다. 정확한 문해력에는 수치뿐 아니라 단위의 선택도 포함됩니다.
같은 표를 네 가지 질문으로 다시 읽습니다
독자가 완성하는 설명
질문을 누르고 설명을 확인해 보세요.
① 전체 수료율 계산 자체에 오류가 있나요?
없습니다. A는 27÷100=27%, B는 73÷100=73%로 정확합니다. 계산이 맞는지와 그 수치에서 어떤 원인을 말할 수 있는지는 서로 다른 문제입니다.
② 난도별 수료율의 산술평균이 A 55%인데 왜 실제는 27%입니까?
A의 어려운 과제 참여자는 90명, 쉬운 과제 참여자는 10명입니다. 두 비율의 분모가 달라 각 집단의 인원에 비례해 가중평균을 내야 합니다. 20%×0.9 + 90%×0.1 = 27%입니다.
③ 난도별 수치만으로 A의 교육 효과가 높다고 증명할 수 있습니까?
표만으로는 원인을 확정할 수 없습니다. 집단 배정과 사전 실력 등 추가 자료가 필요합니다. 관찰된 비율을 그대로 설명하면서 인과적 판단의 근거는 별도로 확인해야 합니다.
④ 신문 기사의 마지막 한 문장을 어떻게 바꾸겠습니까?
“전체 수료율은 B 73%, A 27%였지만 난도별로는 두 집단 모두 A의 비율이 높았다. 난도별 참여자 수가 크게 달라 두 프로그램의 교육 효과를 비교하려면 추가 분석이 필요하다.”라고 정리할 수 있습니다.
오늘의 목표는 숨겨진 결론을 재빨리 찾는 것이 아니라 분모와 조건을 보존해 한 문장으로 설명하는 것입니다. 다음에 통계가 들어간 기사를 만나면 “몇 명 가운데 몇 명이며, 그 사람들은 어떤 조건에서 비교되었는가?”라는 질문부터 시작해 보세요.
같은 표를 보고
자신의 설명을 적어 보세요.
전체 비율과 난도별 비율을 함께 설명하고, 교육 효과를 판단하려면 어떤 자료를 더 확인해야 하는지 적어 보세요.
기록은 현재 브라우저에만 저장됩니다. 서버로 전송하지 않습니다.
출처와 사실 확인 범위
REFERENCES소속과 출판 정보는 공식 소개에서 확인했습니다. 본문의 표·숫자·대화는 설명을 위해 편집부가 구성한 가상 자료입니다.