유의해진 순간 멈추면 오류율도 그대로일까?
40·60·80·100명에서 같은 p값을 보면서 매번 0.05, 최종 한 번, 네 번 보정이라는 세 규칙이 어떤 판단을 만드는지 비교합니다.
그림에서 무엇을 볼까요?
누적 표본 40, 60, 80, 100명의 p값 0.180, 0.090, 0.041, 0.032를 매번 0.05, 100명에서 한 번, 네 번 보정 0.0125 규칙으로 판단하는 그림
온실 재배법 A와 B의 생장 차이를 시험한다고 합시다. 누적 표본이 40·60·80·100명일 때 계산된 p값은 차례로 0.180, 0.090, 0.041, 0.032입니다. 이 숫자는 선택적 중단의 구조를 보기 위한 자체 자료이며 실제 식물 연구 결과가 아닙니다.
연구자가 매번 p<0.05만 확인한다면 80명에서 0.041을 보고 수집을 멈춥니다. 100명까지 모아 한 번만 분석하기로 했다면 앞의 세 값은 판단에 쓰지 않고 최종 0.032를 0.05와 비교합니다. 이 예시에서는 두 방식 모두 ‘통과’지만, 사용한 정보와 오류율의 기준은 서로 다릅니다.
함께 확인할 점
누적 표본 40·60·80·100명의 고정 p값을 사전에 정한 서로 다른 규칙으로 읽습니다. 실제 검정을 다시 계산하거나 연구 효과를 추정하지 않습니다.
생각해 볼 질문
반복해서 성과를 확인하는 실제 사례 하나를 골라 최대 자료량, 확인 시점, 멈춤 경계, 조기 종료의 이익과 위험, 계획 변경 기록을 포함한 사전 규칙을 적어 보세요.
평균을 정확히 알면 다음 한 사람의 값도 좁게 맞힐 수 있을까?
정책 뒤 수치가 떨어지면 정책 효과라고 말해도 될까?
점수를 합격·불합격으로 자르면 정보도 그대로 남을까?