자료수집·분석의 공개되지 않은 선택 유연성이 명목상 5%보다 훨씬 많은 유의 결과를 만들 수 있음을 모의실험과 실험으로 보였습니다. 이 글은 공개 원문에서 확인한 연구 질문·방법·결과를 협회의 적용 아이디어와 나누어 읽습니다.
연구를 읽는 두 가지 질문
연구 질문과 확인한 자료
Joseph P. Simmons, Leif D. Nelson, Uri Simonsohn의 원자료를 공개 전문으로 확인했습니다. 모의실험과 두 실제 실험으로 표본 종료, 종속변수, 공변량과 조건 포함 선택을 결과 확인 뒤 바꾸는 경우를 비교했습니다. [1]
방법과 핵심 결과
각 선택은 그럴듯해 보여도 조합되면 거짓 양성이 크게 늘 수 있음을 보였고, 노래를 들으면 나이가 달라진다는 불가능한 결론도 유의하게 만들었습니다. 수치와 범주는 원문이 보고한 범위에서만 사용했습니다. [1]
해석의 범위와 한계
특정 선택 묶음의 시뮬레이션·시범 실험이며 모든 유의 결과가 부정하거나 거짓이라는 뜻은 아닙니다. 투명한 계획·보고가 핵심입니다. 발표일과 확인한 버전을 구분하고 저자 국적은 추정하지 않았습니다. [1]
개념을 직접 점검하는 예시
같은 자료에서 분석 계획을 미리 고정한 경로와 여러 분석을 시험한 뒤 하나만 보고한 경로를 나누고 전체 시도 수를 함께 표시합니다.
그림은 분석 선택 → 다중 시도 → 전체 공개 순서로 읽고 마지막 합류점에서 조건·범위·반례를 함께 확인합니다. 원 논문의 표나 그림을 복사하지 않고 LTCT가 개념 관계만 새로 그렸습니다.
어디까지 말할 수 있을까요?
- 특정 선택 묶음의 시뮬레이션·시범 실험이며 모든 유의 결과가 부정하거나 거짓이라는 뜻은 아닙니다. 투명한 계획·보고가 핵심입니다.
- 이 연구만으로 LTCT 교육·시험의 효과를 확인할 수 없습니다. 적용안은 별도 비교 조건과 측정 계획이 필요한 제안입니다.
원문에 근거한 한계와 LTCT의 적용 범위 검토입니다. [1]
교육 현장과 연결해 보면
가상 설문 자료를 분석하기 전에 제외 기준과 비교할 집단을 정합니다. 이어 다른 합리적인 기준도 적용해 보고, 각 선택에서 결과가 어떻게 달라지는지 분석 경로를 표로 남깁니다.
학생은 가장 눈에 띄는 결과만 고른 보고서와 모든 시도를 밝힌 보고서를 비교합니다. 교사는 분석을 바꾼 시점과 이유를 확인하여, 미리 정한 검증과 결과를 본 뒤의 탐색을 구분하게 합니다.
각 분석의 p값이 0.05 아래면 증거가 강한가요?
생각을 비교할 해설 펼치기
시도한 분석 전체와 선택 규칙을 숨기면 그 숫자만으로는 거짓 양성 위험을 판단하기 어렵습니다.
원문과 출처 정보
한국어 제목은 이해를 돕기 위한 LTCT 번역입니다. 한글 제목 뒤 괄호에 원제를 함께 표기했습니다. 저자·학술지·원문 버전은 원문 서지정보를 기준으로 확인할 수 있습니다.
거짓 양성 심리학: 공개되지 않은 자료수집·분석 유연성 (False-Positive Psychology: Undisclosed Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant)
Joseph P. Simmons, Leif D. Nelson, Uri Simonsohn (2011). Psychological Science, 22(11), 1359–1366.
- 자료 성격
- 국제 학술지 방법론 연구
- 읽은 버전
- 2011 출판본 및 공개 저자 원고
- 확인 범위
- 공개 원문 전문에서 연구 질문, 방법, 표본·비교 조건, 핵심 결과와 해석 한계를 확인. 2011 출판본 및 공개 저자 원고
- 원문 확인일
이 글은 한국어 해설이며 원문 전문 번역이 아닙니다. 도식과 활동의 제작·재구성 범위는 각 그림과 본문에 표시했습니다. 자료 선정과 출처 기준
같은 연구 흐름에서 이어 읽기
같은 원문, 저자·연구 흐름, 공통 개념 태그를 기준으로 연결한 관련 해설입니다.