검사를 스무 번 하면 우연한 발견도 늘어날까?

그림에서 무엇을 볼까요?

각 검사의 오경보 확률을 5퍼센트로 고정했을 때 독립 검사 1·5·20회 중 하나 이상 오경보가 날 가능성이 5.0·22.6·64.2퍼센트로 커지는 막대그림

옥상 대기 관측소에서 오염 물질 스무 종류가 새 필터 전후에 달라졌는지 각각 검사한다고 해 봅시다. 실제로는 어느 물질에도 변화가 없지만, 각 검사는 참인 영가설을 5% 확률로 잘못 기각하는 규칙을 씁니다. 검사 하나만 보면 오경보 가능성은 5%입니다. 그러나 스무 결과 중 하나라도 문턱 아래로 내려가면 ‘발견’으로 고르는 절차의 오경보 가능성은 더 큽니다.

검사들이 독립이라면 스무 번 모두 오경보가 아닐 가능성은 0.95의 20제곱, 약 35.8%입니다. 따라서 하나 이상 오경보일 가능성은 1에서 이를 뺀 약 64.2%입니다. 다섯 번이면 약 22.6%, 한 번이면 5.0%입니다. 이 수치는 p값 하나가 거짓일 사후확률이 아닙니다. 모든 영가설이 참이고 독립이라는 반복 절차에서 가족 전체에 적어도 한 오류가 생길 장기 빈도입니다.