합리적인 분석법을 모두 돌리면 결론의 취약점이 보일까? 다중우주 분석은 같은 원자료에서 합리적인 처리 선택의 조합을 펼쳐 결과의 안정성과 민감도를 보여 준다. 원자료의 발표일과 읽은 버전을 구분하고 연구 질문·방법·결과·한계와 LTCT 적용 제안을 차례로 살펴봅니다.
연구를 읽는 두 가지 질문
연구 질문
데이터 정리와 변수 구성에 여러 합리적 선택이 있을 때 하나의 분석 결과만 보고하지 않고 불확실성을 드러낼 수 있는가? [1]
자료와 방법
Steegen, Tuerlinckx, Gelman, Vanpaemel은 연구자가 선택할 수 있는 결측 처리, 제외 기준, 변수 코딩과 변환의 조합을 모두 명시해 여러 데이터세트와 분석 결과를 만드는 ‘다중우주 분석’을 제안한다. 출산력, 종교성, 정치 태도의 관계를 다룬 공개 사례를 다시 분석해 단일 처리 경로와 선택 조합 전체가 얼마나 다른 결론을 주는지 시연한다. 이는 새로운 무작위 실험이 아니라 방법론적 재분석이다. [1]
핵심 결과
합리적인 선택 하나만 택하면 그 경로의 결과가 유일한 답처럼 보인다. 다중우주는 각 선택 조합의 효과 추정치와 불확실성을 나란히 보여 어떤 전처리 결정이 방향·크기를 바꾸는지 찾게 한다. 사례에서는 결론이 분석 사양에 민감함이 드러나 단일 분석의 자신감이 과도할 수 있음을 보였다. 그러나 가능한 모든 통계 모형을 무차별 실행하거나 유리한 결과를 고르는 절차가 아니다. 사전에 정당화 가능한 선택 집합과 동일한 연구 질문이 필요하다. [1]
결과의 범위
‘합리적’ 선택 범위 자체에도 연구자 판단이 들어가며 빠진 선택이나 부적절한 사양은 다중우주로 자동 교정되지 않는다. 여러 결과를 펼치는 것은 인과 식별 실패, 측정 오류, 선택 편향 같은 원자료의 한계를 해결하지 않는다. 연구에서 직접 확인된 내용과 LTCT가 제안하는 수업·평가 아이디어를 분리해 읽어야 합니다. 통계적 차이와 교육적 중요성은 같은 말이 아니며, 측정하지 않은 장기 행동이나 다른 집단까지 같은 결과가 난다고 확장하지 않습니다. [1]
구체적으로 생각해 보기
결측 응답을 제외하거나 별도 범주로 두는 선택 2개, 극단값을 유지하거나 사전 기준으로 제외하는 선택 2개, 점수를 합계나 평균으로 만드는 선택 2개가 있다면 2×2×2=8개 경로가 생긴다. 여덟 결과를 모두 보여야 어느 결정이 결론을 흔드는지 보인다.
LTCT 도식은 세 선택 노드가 여덟 분석 경로로 갈라져 효과 추정치 분포로 모이는 구조를 그린다. 임의의 숫자를 실제 연구 결과처럼 제시하지 않고 선택 수 계산만 교육용으로 사용한다.
답을 고른 뒤 사용한 전제, 비교 기준, 남는 불확실성을 적습니다. 이 예시는 원 연구의 추가 결과가 아니라 LTCT가 만든 교육용 사례이며, 본문의 수치와 도식의 관계를 서로 대조했습니다.
어디까지 말할 수 있을까요?
- ‘합리적’ 선택 범위 자체에도 연구자 판단이 들어가며 빠진 선택이나 부적절한 사양은 다중우주로 자동 교정되지 않는다.
- 여러 결과를 펼치는 것은 인과 식별 실패, 측정 오류, 선택 편향 같은 원자료의 한계를 해결하지 않는다.
- 공개본에서 확인한 범위를 넘어 저자나 참가자의 속성을 추측하지 않았고 최초 발표일과 개정·권호 출판일을 구분했습니다.
원문에 근거한 한계와 LTCT의 적용 범위 검토입니다. [1]
교육 현장과 연결해 보면
분석 계획서에 변수 코딩·결측·제외 기준의 대안을 미리 적고, 핵심 결론이 어느 선택에서 바뀌는지 표로 남깁니다.
평가 문항에서는 정답 하나를 고른 뒤 다른 합리적 가정에서도 유지되는지 묻게 합니다.
많은 분석을 실행하면 원하는 결과를 고르기 더 쉬워지는 것 아닌가?
생각을 비교할 해설 펼치기
선택적으로 한 결과만 보고하면 그렇다. 다중우주의 핵심은 정당화된 선택 조합과 결과 전체를 공개해 민감도를 숨기지 않는 데 있다.
원문과 출처 정보
한국어 제목은 이해를 돕기 위한 LTCT 번역입니다. 한글 제목 뒤 괄호에 원제를 함께 표기했습니다. 저자·학술지·원문 버전은 원문 서지정보를 기준으로 확인할 수 있습니다.
다중우주 분석을 통한 투명성 향상 (Increasing Transparency Through a Multiverse Analysis)
Sara Steegen, Francis Tuerlinckx, Andrew Gelman, Wolf Vanpaemel (2016). Perspectives on Psychological Science 11(5), 702–712.
- 자료 성격
- 동료심사 방법론·재분석 논문
- 읽은 버전
- 2016 출판본과 저자 공개 원고·보충자료
- 확인 범위
- 공개 원고 전체의 다중우주 절차와 출산력 사례, 보충자료의 사양 구성
- 원문 확인일
이 글은 한국어 해설이며 원문 전문 번역이 아닙니다. 도식과 활동의 제작·재구성 범위는 각 그림과 본문에 표시했습니다. 자료 선정과 출처 기준
같은 연구 흐름에서 이어 읽기
같은 원문, 저자·연구 흐름, 공통 개념 태그를 기준으로 연결한 관련 해설입니다.