연구자가 통계를 딱 한 번 계산했다면 다중 비교 문제는 없을까요? 자료를 본 뒤 ‘이상치는 빼는 편이 타당해 보인다’, ‘이 결과 변수가 더 잘 측정됐다’, ‘로그 변환이 분포에 맞다’고 각각 한 번씩 결정할 수 있습니다. 어느 선택도 노골적인 속임수가 아닐 수 있지만, 같은 연구 계획에서 다른 자료가 나왔다면 다른 길을 골랐을 가능성이 있습니다. Gelman과 Loken은 이렇게 자료에 반응해 생기는 보이지 않는 선택 공간을 ‘갈라지는 길의 정원’이라고 설명했습니다.
연구를 읽는 두 가지 질문
계산 한 번 뒤에 숨어 있는 비교는 무엇일까?
연구의 분석 계획이 자료를 보기 전에 완전히 고정되지 않았다면 표본의 모양이 결과 변수, 하위집단, 공변량, 변환 방식의 선택에 영향을 줄 수 있습니다. 실제 보고서에는 최종 분석 하나만 남아도, 그 p값의 표본분포는 가능한 선택 규칙 전체의 영향을 받습니다. 저자들은 이를 전통적인 의미의 여러 검정을 명시적으로 실행한 경우와 구별하면서도, 동일한 자료 의존적 선택 때문에 불확실성이 과소평가될 수 있다고 지적합니다. [1]
의도적인 p-해킹과 무엇이 다른가?
Gelman과 Loken의 핵심은 연구자가 유의한 결과가 나올 때까지 여러 분석을 고의로 시도하지 않아도 문제가 생길 수 있다는 점입니다. 연구 가설을 미리 세웠더라도 자료를 본 뒤 가장 자연스러워 보이는 조작화와 제외 규칙을 택하면, 반대 결과가 나왔을 때 선택했을 경로는 기록에서 사라집니다. 해결은 연구자를 사기꾼으로 부르는 데 있지 않고, 사전 명시, 모든 합리적 분석의 민감도 비교, 반복 연구와 전체 작업 흐름의 공개에 있습니다. [1]
세 번의 양자택일은 몇 갈래가 될까?
가상 연구에는 결측 사례를 포함할지 두 선택, 성취도를 시험 A로 잴지 B로 잴지 두 선택, 원점수를 쓸지 로그 변환할지 두 선택이 있습니다. 각 결정이 독립적으로 가능하다면 2×2×2=8개 경로입니다. 연구자가 자료를 보고 각 지점에서 하나만 골라 최종 회귀를 한 번 계산해도, 같은 계획이 허용한 선택 공간은 여덟 갈래였습니다.
아래 활동에서 각 결정의 대안 수를 1~4로 바꾸면 전체 경로 수가 곱으로 갱신됩니다. 선택지 수가 1이면 그 결정은 미리 고정된 셈입니다. 세 결정이 모두 네 대안이면 64개가 됩니다. 이는 64개 분석을 실제로 실행했다는 뜻이 아니라 설계가 허용한 잠재 경로를 보이기 위한 계산입니다.
현실에서는 경로들이 서로 독립적이지 않고 어떤 선택은 이론상 부적절할 수 있습니다. 그러므로 경로 수만으로 수정 p값을 자동 계산해서는 안 됩니다. 더 중요한 질문은 어떤 선택이 자료에 반응했는지, 다른 합리적 선택에서도 결론이 유지되는지입니다.
분석 선택지 수를 바꾸어 경로를 세어 보세요
각 결정에서 허용할 대안 수를 바꾸세요. 곱은 잠재 경로 수일 뿐 실제 거짓양성률이 아닙니다.
자료를 보기 전에는 이 경로들이 모두 가능했습니다.
경로들이 독립이라는 단순 모형입니다. 실제 다중비교 보정값을 계산하지 않습니다.
어디까지 말할 수 있을까요?
- 원문은 방법론적 논증과 사례 분석을 제시한 공개 원고이며, 특정한 하나의 보정 공식을 검증한 무작위 실험이 아닙니다.
- 단순 곱셈 활동은 선택 공간을 가시화할 뿐입니다. 경로 사이 상관, 선택 규칙과 효과 추정의 관계를 반영하지 않으므로 실제 거짓양성률을 계산하지 않습니다.
원문에 근거한 한계와 LTCT의 적용 범위 검토입니다. [1]
교육 현장과 연결해 보면
연구·평가 보고서에는 제외 기준, 점수 변환, 하위집단, 공변량을 자료를 보기 전에 가능한 만큼 명시하고 변경 이유와 시각을 남길 수 있습니다.
수업에서는 같은 가상 자료를 서로 다른 정당한 분석으로 처리한 뒤 결론이 얼마나 안정적인지 비교합니다.
분석 선택이 많으면 연구 결과는 모두 믿을 수 없나요?
생각을 비교할 해설 펼치기
그렇지 않습니다. 선택이 왜 필요한지 이론과 측정 원리로 설명하고, 사전 계획과 실제 변경을 구분하며, 대안 분석에서도 결론이 유지되는지 보여 주면 증거를 더 잘 평가할 수 있습니다. 핵심은 선택 수를 0으로 만드는 것이 아니라 자료에 반응한 선택을 숨기지 않고 불확실성에 반영하는 것입니다.
원문과 출처 정보
한국어 제목은 이해를 돕기 위한 LTCT 번역입니다. 한글 제목 뒤 괄호에 원제를 함께 표기했습니다. 저자·학술지·원문 버전은 원문 서지정보를 기준으로 확인할 수 있습니다.
갈라지는 길의 정원: 탐색이나 p-해킹이 없고 가설을 미리 세워도 다중 비교가 문제가 되는 이유 (The Garden of Forking Paths: Why Multiple Comparisons Can Be a Problem, Even When There Is No “Fishing Expedition” or “p-Hacking” and the Research Hypothesis Was Posited Ahead of Time)
Andrew Gelman & Eric Loken (2013). Department of Statistics, Columbia University, public methods paper.
- 자료 성격
- 해외 대학 통계학과 공개 방법론 원고
- 읽은 버전
- 2013-11-14 공개 원고, 17쪽
- 확인 범위
- 컬럼비아대학교 공개 원고 전체에서 자료 의존적 분석 선택, 단일 분석과 잠재 비교의 구분, 사례와 개선 제안을 확인
- 원문 확인일
- 영구 식별
- DOI 미기재 · 아래 보존판 주소로 안내
이 글은 한국어 해설이며 원문 전문 번역이 아닙니다. 도식과 활동의 제작·재구성 범위는 각 그림과 본문에 표시했습니다. 자료 선정과 출처 기준
같은 연구 흐름에서 이어 읽기
같은 원문, 저자·연구 흐름, 공통 개념 태그를 기준으로 연결한 관련 해설입니다.