자발적으로 연습에 참여한 사람들의 점수가 더 높았습니다. 참여자가 천 명, 만 명으로 늘어나면 ‘연습 때문에 점수가 올랐다’고 말해도 될까요? 자료의 양과 함께, 어떤 사람을 누구와 비교했는지 살펴야 합니다.
연구를 읽는 두 가지 질문
어떤 연구인가요?
Pearl의 2009년 개관 논문은 구조적 인과모형과 그래프를 이용해 관찰, 개입, 반사실적 질문을 다루는 틀을 소개합니다. 특정 교육 프로그램의 효과를 측정한 실험이 아니라, 통계 자료에서 인과적 질문에 답하기 위해 필요한 개념과 조건을 정리한 이론적 개관입니다. [1]
관찰과 개입의 질문을 구별합니다
어떤 행동을 한 사람에게서 결과가 관찰된다는 것과, 그 행동을 하도록 개입했을 때 결과가 달라진다는 것은 다른 질문입니다. 관찰 자료에서 효과를 식별하려면 인과 구조와 관련된 가정이 필요합니다. 표본을 늘리더라도 비교 집단 사이의 체계적 차이나 잘못된 인과 가정이 자동으로 사라지지는 않습니다. [1]
학습 의욕이라는 공통 원인이 있다면
아래는 실제 조사 결과가 아닌 LTCT의 가상 설계입니다. 학습 의욕이 높은 사람이 연습에 더 많이 참여하고, 동시에 다른 공부도 더 열심히 해 사후 점수가 높아질 수 있다고 가정해 봅시다. 그렇다면 참여자와 비참여자의 점수 차이에 연습 효과 외의 요인이 섞일 수 있습니다.
무작위 배정이 가능한지, 사전 수준을 어떻게 측정할지, 참여와 평가가 어떤 순서로 이루어질지 검토할 수 있습니다. 관찰 연구라면 무엇을 측정하고 어떤 가정 아래 비교할지 설명해야 합니다. 측정한 변수를 무조건 모두 보정하는 것이 정답인 것은 아닙니다.
어디까지 말할 수 있을까요?
- 인과 그림을 그렸다는 사실이 화살표의 진실성을 증명하지는 않습니다. 중요한 변수가 빠졌는지와 가정의 근거를 따로 검토해야 합니다.
- 무작위 실험과 관찰 연구 모두 측정, 이탈, 적용 대상 등 각자의 설계 문제를 살펴야 합니다. 특정 방법 이름만으로 결론이 보장되지 않습니다.
원문에 근거한 한계와 LTCT의 적용 범위 검토입니다. [1]
교육 현장과 연결해 보면
학교에서 학습 결과를 비교할 때는 ‘참여자 점수가 높았다’와 ‘활동 때문에 향상되었다’를 구별해 보고하는 것이 좋겠습니다.
활동 시작 전 평가, 비교 조건, 평가 시점, 중도 이탈을 기록하는 계획을 먼저 세울 수 있습니다.
연습 참여자 1만 명이 비참여자보다 높은 점수를 받았습니다. 꼭 추가로 알고 싶은 정보는 무엇인가요?
생각을 비교할 해설 펼치기
예를 들어 참여 전 점수, 참여자를 정한 방식, 다른 학습의 차이, 사후 평가에 남은 사람의 비율을 확인할 수 있습니다. 어떤 정보가 어떤 대안 설명을 점검하는 데 필요한지 연결해서 말해 보세요.
원문과 출처 정보
한국어 제목은 이해를 돕기 위한 LTCT 번역입니다. 한글 제목 뒤 괄호에 원제를 함께 표기했습니다. 저자·학술지·원문 버전은 원문 서지정보를 기준으로 확인할 수 있습니다.
통계학의 인과추론 개관 (Causal inference in statistics: An overview)
Judea Pearl (2009). Statistics Surveys, 3, 96–146.
- 자료 성격
- 학술지 이론·개관 논문
- 읽은 버전
- 학술지 발행본 · 저자 공개 PDF 확인
- 확인 범위
- 저자 공개 본문의 구조적 인과모형, 개입과 효과 식별에 관한 설명
- 원문 확인일
이 글은 한국어 해설이며 원문 전문 번역이 아닙니다. 도식과 활동의 제작·재구성 범위는 각 그림과 본문에 표시했습니다. 자료 선정과 출처 기준
같은 연구 흐름에서 이어 읽기
같은 원문, 저자·연구 흐름, 공통 개념 태그를 기준으로 연결한 관련 해설입니다.