분석 선택이 많아지면 거짓 양성도 늘어날까?
자료수집·분석의 공개되지 않은 선택 유연성이 명목상 5%보다 훨씬 많은 유의 결과를 만들 수 있음을 모의실험과 실험으로 보였습니다.
그림에서 무엇을 볼까요?
분석 선택, 다중 시도, 전체 공개를 연결해 조건과 범위를 확인하는 교육용 도식.
같은 자료에서 분석 계획을 미리 고정한 경로와 여러 분석을 시험한 뒤 하나만 보고한 경로를 나누고 전체 시도 수를 함께 표시합니다.
그림은 분석 선택 → 다중 시도 → 전체 공개 순서로 읽고 마지막 합류점에서 조건·범위·반례를 함께 확인합니다. 원 논문의 표나 그림을 복사하지 않고 LTCT가 개념 관계만 새로 그렸습니다.
함께 확인할 점
특정 선택 묶음의 시뮬레이션·시범 실험이며 모든 유의 결과가 부정하거나 거짓이라는 뜻은 아닙니다. 투명한 계획·보고가 핵심입니다.
이 연구만으로 LTCT 교육·시험의 효과를 확인할 수 없습니다. 적용안은 별도 비교 조건과 측정 계획이 필요한 제안입니다.
생각해 볼 질문
각 분석의 p값이 0.05 아래면 증거가 강한가요?
사전등록은 적어 두기만 하면 충분할까?
유의확률(p값) 하나가 증거의 판결문이 될 수 있을까?
같은 연구를 다시 하면 결과는 얼마나 돌아올까?