검사 하나의 5%와 연구 전체의 5%는 같은 말이 아니다
옥상 대기 관측소에서 오염 물질 스무 종류가 새 필터 전후에 달라졌는지 각각 검사한다고 해 봅시다. 실제로는 어느 물질에도 변화가 없지만, 각 검사는 참인 영가설을 5% 확률로 잘못 기각하는 규칙을 씁니다. 검사 하나만 보면 오경보 가능성은 5%입니다. 그러나 스무 결과 중 하나라도 문턱 아래로 내려가면 ‘발견’으로 고르는 절차의 오경보 가능성은 더 큽니다.
검사들이 독립이라면 스무 번 모두 오경보가 아닐 가능성은 0.95의 20제곱, 약 35.8%입니다. 따라서 하나 이상 오경보일 가능성은 1에서 이를 뺀 약 64.2%입니다. 다섯 번이면 약 22.6%, 한 번이면 5.0%입니다. 이 수치는 p값 하나가 거짓일 사후확률이 아닙니다. 모든 영가설이 참이고 독립이라는 반복 절차에서 가족 전체에 적어도 한 오류가 생길 장기 빈도입니다.
검사 결과들이 같은 표본과 변수를 공유하면 독립 가정이 맞지 않을 수 있습니다. 그러면 1−0.95^m을 그대로 쓰지 말아야 합니다. 그래도 무엇을 한 가족으로 묶었는지, 총 몇 개를 시험했는지, 보고 전에 분석을 정했는지는 반드시 드러내야 합니다.
참고 · Ronald L. Wasserstein·Nicole A. Lazar / American Statistical Association — 통계적 유의성과 p값에 관한 ASA 성명 ↗
Bonferroni는 각 문턱을 나누어 가족 전체의 상한을 지킨다
NIST 편람은 Bonferroni의 일반 부등식을 이용해 여러 비교의 전체 신뢰도를 유지하는 방법을 설명합니다. 가족 전체 오경보 한도를 5%로 두고 스무 검사를 한다면 각 검사의 문턱을 0.05÷20=0.0025로 낮춥니다. 각 오류 사건의 가능성을 모두 더한 상한은 20×0.0025=0.05입니다. 이 합 상한은 검사들이 서로 독립일 필요가 없습니다.
아래 활동에서 ‘검사마다 5%’와 ‘가족 전체 5%’를 번갈아 보세요. 독립을 가정한 정확한 가족 오경보 가능성은 스무 번에서 64.15%와 4.88%로 달라집니다. 조정 뒤 값이 정확히 5%가 아니라 5% 이하인 이유는 Bonferroni가 오류 사건들의 겹침을 빼지 않은 보수적 상한을 쓰기 때문입니다.
대가도 있습니다. 문턱이 엄격해지면 실제 효과를 놓칠 가능성이 커질 수 있습니다. 검사를 무작정 하나의 거대한 가족으로 묶는 것도, 결과를 본 뒤 유리한 검사만 가족 밖으로 빼는 것도 타당하지 않습니다. 연구 질문과 의사결정 단위를 보고 전에 정해야 합니다.
참고 · 미국 국립표준기술연구소(NIST) · SEMATECH — 여러 비교의 전체 신뢰도를 지키는 Bonferroni 방법 ↗
유의한 한 칸보다 전체 분석 경로와 효과 크기를 읽는다
ASA 성명은 과학적 결론을 문턱 하나의 통과 여부에만 기대지 말고, 모든 분석과 자료 수집 결정을 투명하게 보고하며 효과의 크기와 맥락을 함께 보라고 권합니다. 스무 결과 중 p=0.04 하나만 보도하고 나머지 열아홉 개를 숨기면 독자는 선택이 일어난 전체 경로를 알 수 없습니다. 조정을 했더라도 측정 오류, 선택 편향, 부적절한 모형이 자동으로 해결되지는 않습니다.
직접 읽을 때 네 줄을 기록해 보세요. 첫째, 검사는 총 몇 개인가. 둘째, 가족은 어떤 연구 질문으로 정했는가. 셋째, 조정 방법과 사전 계획은 무엇인가. 넷째, 발견된 효과의 크기와 불확실성은 실제로 중요한가. p값은 이 네 질문 가운데 일부 계산만 답합니다.
광고 문구 A/B 시험, 유전자 탐색, 학교별 성적 비교에도 같은 질문을 옮길 수 있습니다. 후보를 많이 뒤져 가장 작은 값만 골랐다면, 그 값이 나온 검색 범위까지 함께 평가해야 합니다. 다음에 ‘유의한 결과 하나’를 볼 때는 먼저 보이지 않는 검사 수를 찾아보세요.
참고 · Ronald L. Wasserstein·Nicole A. Lazar / American Statistical Association — 통계적 유의성과 p값에 관한 ASA 성명 ↗