가설을 100개 검사하면 p<0.05인 결과가 여러 개 나올 수 있습니다. 이때 ‘거짓 발견률 5%’는 100번 중 오류가 하나라도 생길 확률을 5%로 묶는다는 뜻일까요? 아닙니다. 무엇을 분모로 삼는지부터 다릅니다.
연구를 읽는 두 가지 질문
1995년 논문은 다른 오류 기준을 제안했습니다
Benjamini와 Hochberg는 많은 가설을 동시에 검사할 때 가족단위 오류율(FWER) 대신 거짓 발견률(FDR)을 제안했습니다. FDR은 기각된 가설, 즉 발견 R개 가운데 실제로 참인 영가설을 잘못 기각한 V개의 비율 V/R의 기대값을 통제합니다. R=0일 때 비율은 0으로 둡니다. [1]
가장 큰 통과 순위를 찾는 단계상승 절차입니다
m개의 p값을 작은 순서로 정렬해 p(i)≤(i/m)q를 만족하는 가장 큰 i를 찾고, 그 순위까지 기각합니다. 독립인 검정통계량 조건에서 이 절차가 목표 q 수준의 FDR을 통제함을 증명했습니다. 문턱은 하나씩 고정된 0.05가 아니라 순위에 따라 커집니다. [1]
발견이 있는 문제에서는 검출력을 더 확보할 수 있습니다
모든 영가설이 참이면 FDR과 적어도 하나의 거짓 기각 확률이 밀접하지만, 실제 효과가 여러 개 있으면 발견 중 거짓 비율을 관리하는 FDR이 FWER보다 덜 보수적일 수 있습니다. 논문의 모의실험은 이런 조건에서 검출력 이득을 보여 줬습니다. 어느 오류 기준이 적절한지는 거짓 발견의 비용에 달려 있습니다. [1]
독립성 조건과 사후 선택을 확인해야 합니다
원 절차의 증명은 독립 검정을 중심으로 하며 이후 양의 의존·임의 의존을 다루는 확장이 개발됐습니다. 분석을 본 뒤 가설군을 바꾸거나 p값을 선별하면 약속한 오류율 해석이 깨질 수 있습니다. FDR 5%는 이번 결과 목록에서 정확히 5%가 거짓이라는 보증도 아닙니다. [1]
유의확률(p값) 다섯 개를 순서 문턱과 비교하기
q=0.05, m=5이고 정렬 p값이 0.004, 0.012, 0.028, 0.041, 0.20이라고 합시다. 순위 문턱은 0.01, 0.02, 0.03, 0.04, 0.05입니다.
1·2·3번째는 문턱을 통과하고 4번째 0.041은 0.04보다 큽니다. 가장 큰 통과 순위는 3이므로 앞의 세 가설을 발견으로 둡니다. 각 p값을 0.05와 따로 비교한 결과와 다릅니다.
LTCT 표에는 p값, 순위, 문턱, 통과 여부를 같은 행에 두고, FDR의 분모 R와 FWER의 사건 ‘V≥1’을 별도 상자로 표시합니다.
어디까지 말할 수 있을까요?
- 원 BH 보장은 독립성 등 가정 아래의 기대 오류율이며 임의 의존이나 사후 가설 선택에는 그대로 적용되지 않습니다.
- FDR 통제가 개별 발견의 참일 확률이나 이번 한 목록의 실제 거짓 비율을 정확히 알려 주지는 않습니다.
원문에 근거한 한계와 LTCT의 적용 범위 검토입니다. [1]
교육 현장과 연결해 보면
여러 문항·하위집단을 동시에 분석할 때 분석군과 오류 기준을 사전에 기록하고 p값 순위표를 함께 공개할 수 있습니다.
교육에서는 계산 절차뿐 아니라 FDR과 FWER가 서로 다른 질문에 답한다는 분모 해석을 채점합니다.
FDR 5%로 통제했을 때 이번 발견 20개 중 정확히 1개가 거짓이라고 말할 수 있나요?
생각을 비교할 해설 펼치기
말할 수 없습니다. FDR은 반복 가능한 절차에서 거짓 발견 비율의 기대값을 통제하는 기준이며 한 번의 목록에서 정확한 개수를 보증하지 않습니다.
원문과 출처 정보
한국어 제목은 이해를 돕기 위한 LTCT 번역입니다. 한글 제목 뒤 괄호에 원제를 함께 표기했습니다. 저자·학술지·원문 버전은 원문 서지정보를 기준으로 확인할 수 있습니다.
거짓 발견률 통제: 다중검정을 위한 실용적이고 강력한 접근 (Controlling the False Discovery Rate: A Practical and Powerful Approach to Multiple Testing)
Yoav Benjamini, Yosef Hochberg (1995). Journal of the Royal Statistical Society: Series B 57(1), 289–300.
- 자료 성격
- 동료심사 통계 방법론 논문
- 읽은 버전
- 1995 학술지 출판본, Oxford Academic 보존 페이지
- 확인 범위
- 공개 초록·본문 미리보기의 FDR 정의, 단계상승 절차, 독립성 보장, 모의실험과 적용 예; 전문 접근 범위를 구분
- 원문 확인일
이 글은 한국어 해설이며 원문 전문 번역이 아닙니다. 도식과 활동의 제작·재구성 범위는 각 그림과 본문에 표시했습니다. 자료 선정과 출처 기준
같은 연구 흐름에서 이어 읽기
같은 원문, 저자·연구 흐름, 공통 개념 태그를 기준으로 연결한 관련 해설입니다.