관측값보다 먼저 멈춤 규칙을 적는다
온실 재배법 A와 B의 생장 차이를 시험한다고 합시다. 누적 표본이 40·60·80·100명일 때 계산된 p값은 차례로 0.180, 0.090, 0.041, 0.032입니다. 이 숫자는 선택적 중단의 구조를 보기 위한 자체 자료이며 실제 식물 연구 결과가 아닙니다.
연구자가 매번 p<0.05만 확인한다면 80명에서 0.041을 보고 수집을 멈춥니다. 100명까지 모아 한 번만 분석하기로 했다면 앞의 세 값은 판단에 쓰지 않고 최종 0.032를 0.05와 비교합니다. 이 예시에서는 두 방식 모두 ‘통과’지만, 사용한 정보와 오류율의 기준은 서로 다릅니다.
중요한 질문은 마지막 p값이 작으냐만이 아닙니다. 몇 번 볼 수 있었는지, 어느 값에서 멈출 수 있었는지, 통과하지 않았을 때 더 모을 선택이 있었는지가 함께 분석 절차를 이룹니다. 유리한 순간만 최종 결과로 남기면 실패한 앞선 확인은 독자에게 보이지 않습니다.
Simmons와 동료들의 2011년 연구는 수집·분석·보고의 여러 유연성이 거짓 양성 발견을 늘릴 수 있음을 모의실험과 실험으로 다뤘습니다. 이 글에서는 PubMed 초록과 서지만 확인했으므로 세부 수치나 전문 결론을 옮기지 않고, 중단 규칙 공개의 필요성만 참고합니다.
참고 · Joseph P. Simmons, Leif D. Nelson, Uri Simonsohn — 자료 수집·분석의 유연성이 거짓 양성을 늘리는 방식 ↗
순차 분석은 반복 확인을 계획 안으로 넣는다
반복 확인 자체가 잘못된 행동은 아닙니다. 효과가 충분히 분명하거나 안전 문제가 생겼을 때 연구를 일찍 끝내면 참여자의 시간과 비용을 줄일 수 있습니다. 핵심은 전체 오류율이 약속한 수준을 넘지 않도록 확인 시점과 판단 경계를 설계하는 것입니다.
Lakens의 공개 교재는 보정 없는 선택적 중단과 오류율을 통제한 순차 분석을 구분합니다. 누적 자료의 검정들은 앞선 사람을 다시 포함하므로 서로 독립도 아닙니다. 따라서 독립 검사 네 번의 확률을 그대로 곱해 실제 오류율이라고 말할 수 없고, 설계에 맞는 순차 경계를 계산해야 합니다.
활동의 ‘네 번 보정’은 전체 0.05를 단순히 네 등분한 0.0125를 매 확인에 적용합니다. 네 p값 가운데 0.0125보다 작은 값이 없어 기준을 통과하지 못합니다. 이는 원리를 드러내는 보수적인 교육 규칙이며, 효율적인 실제 연구에서는 포콕 경계나 오브라이언-플레밍 경계, 알파 소비 함수처럼 의존성과 확인 시점을 반영한 방법을 선택할 수 있습니다.
세 규칙의 결과를 비교할 때 ‘보정이 더 엄격하니 언제나 더 좋다’고 결론 내리지 않습니다. 지나치게 엄격한 경계는 실제 효과를 놓칠 가능성을 키울 수 있습니다. 연구 목적, 최대 표본, 기대 효과, 조기 중단의 이익과 비용을 바탕으로 설계를 미리 정하고 그 설계에 맞는 추론을 해야 합니다.
보고서에는 보았던 모든 시점을 남긴다
활동에서 먼저 ‘매번 0.05’를 눌러 3차·80명·p=0.041에서 멈추는지 확인하세요. ‘100명에서 한 번’은 4차·p=0.032만 판단합니다. ‘네 번 보정’은 임계값 0.0125이며 네 값 모두 미통과입니다. 본문·그림·표의 숫자는 모두 같은 고정 자료입니다.
실제 보고서에는 최대 표본 수, 중간 확인 횟수와 시점, 각 시점의 경계, 조기 종료 조건과 실제 종료 이유를 적습니다. 연구 도중 계획을 바꾸었다면 언제 어떤 자료를 본 뒤 바꿨는지도 밝힙니다. 변경된 분석을 탐색 결과로 표시하면 독자는 사전 예측과 사후 발견을 구분할 수 있습니다.
p값 경계를 통과했다는 사실은 효과의 크기나 실질적 중요성을 대신하지 않습니다. 효과 추정치와 불확실성, 자료 누락, 측정 품질도 함께 봅니다. 안전성 때문에 멈춘 시험과 효과가 커서 멈춘 시험은 같은 ‘중단’이라는 단어를 쓰더라도 근거와 후속 판단이 다릅니다.
다른 상황으로 옮겨 보세요. 앱 실험, 교육 프로그램, 임상시험의 결과를 매일 확인한다면 어느 시점에 어떤 이유로 멈출 수 있나요? 최대 자료량, 확인 일정, 전체 오류율, 효과가 없을 때의 중단 기준과 계획 변경을 공개할 기록을 먼저 작성해 보세요.