합리적인 분석법을 모두 돌리면 결론의 취약점이 보일까?
다중우주 분석은 같은 원자료에서 합리적인 처리 선택의 조합을 펼쳐 결과의 안정성과 민감도를 보여 줍니다.
그림에서 무엇을 볼까요?
합리적인 분석법을 모두 돌리면 결론의 취약점이 보일까?의 질문, 방법, 결과와 적용 범위를 세 단계 카드로 정리한 교육용 도식
결측 응답을 제외하거나 별도 범주로 두는 선택 2개, 극단값을 유지하거나 사전 기준으로 제외하는 선택 2개, 점수를 합계나 평균으로 만드는 선택 2개가 있다면 2×2×2=8개 경로가 생긴다. 여덟 결과를 모두 보여야 어느 결정이 결론을 흔드는지 보인다.
LTCT 도식은 세 선택 노드가 여덟 분석 경로로 갈라져 효과 추정치 분포로 모이는 구조를 그린다. 임의의 숫자를 실제 연구 결과처럼 제시하지 않고 선택 수 계산만 교육용으로 사용한다.
함께 확인할 점
‘합리적’ 선택 범위 자체에도 연구자 판단이 들어가며 빠진 선택이나 부적절한 사양은 다중우주로 자동 교정되지 않는다.
여러 결과를 펼치는 것은 인과 식별 실패, 측정 오류, 선택 편향 같은 원자료의 한계를 해결하지 않는다.
공개본에서 확인한 범위를 넘어 저자나 참가자의 속성을 추측하지 않았고 최초 발표일과 개정·권호 출판일을 구분했습니다.
생각해 볼 질문
많은 분석을 실행하면 원하는 결과를 고르기 더 쉬워지는 것 아닌가?
