자료를 더 많이 모으면 원인을 알 수 있을까?
연습한 사람이 높은 점수를 받았다고 해서 연습의 효과가 바로 입증되지는 않습니다. 인과 그림으로 비교의 조건을 살펴봅니다.
그림에서 무엇을 볼까요?
학습 의욕에서 자발적 연습 참여와 사후 점수로 실선 화살표가 향한다. 연습 참여에서 사후 점수로 향하는 점선은 확인하려는 효과를 표시한다. 전체는 가상의 인과 가정이다.
아래는 실제 조사 결과가 아닌 LTCT의 가상 설계입니다. 학습 의욕이 높은 사람이 연습에 더 많이 참여하고, 동시에 다른 공부도 더 열심히 해 사후 점수가 높아질 수 있다고 가정해 봅시다. 그렇다면 참여자와 비참여자의 점수 차이에 연습 효과 외의 요인이 섞일 수 있습니다.
무작위 배정이 가능한지, 사전 수준을 어떻게 측정할지, 참여와 평가가 어떤 순서로 이루어질지 검토할 수 있습니다. 관찰 연구라면 무엇을 측정하고 어떤 가정 아래 비교할지 설명해야 합니다. 측정한 변수를 무조건 모두 보정하는 것이 정답인 것은 아닙니다.
함께 확인할 점
인과 그림을 그렸다는 사실이 화살표의 진실성을 증명하지는 않습니다. 중요한 변수가 빠졌는지와 가정의 근거를 따로 검토해야 합니다.
무작위 실험과 관찰 연구 모두 측정, 이탈, 적용 대상 등 각자의 설계 문제를 살펴야 합니다. 특정 방법 이름만으로 결론이 보장되지 않습니다.
생각해 볼 질문
연습 참여자 1만 명이 비참여자보다 높은 점수를 받았습니다. 꼭 추가로 알고 싶은 정보는 무엇인가요?
각각 더 좋은데 합치면 더 나쁠 수 있을까?
변수를 많이 통제할수록 인과 추론이 좋아질까?
논증을 그리는 수업은 새로운 글을 읽는 힘도 키울까?