여러 가설을 한꺼번에 검사하고 유의한 것만 골랐습니다. 연구자가 “거짓 발견률 5%를 관리했다”고 말하면, 각 결과가 틀릴 확률이 정확히 5%라는 뜻일까요? 선택된 결과 묶음과 개별 가설은 다른 단위입니다. 오류율의 이름보다 무엇을 세고 어떤 시행을 평균 내는지 먼저 확인해야 합니다.
연구를 읽는 두 가지 질문
오류 기준을 먼저 정할 수도, 선택 범위에서 추정할 수도 있습니다
Storey의 2002년 논문은 기각 영역을 정한 뒤 그에 해당하는 거짓 발견률을 추정하는 접근을 제안했습니다. FDR은 기각한 가설 가운데 잘못 기각한 것의 비율을 반복 시행에서 평균 낸 값이며, pFDR은 기각이 있는 시행으로 조건을 둡니다. 논문은 영가설 비율의 정보를 활용하는 추정과 q값을 논의하고 이론·수치 예시로 방법을 검토합니다. [1]
실제 한 묶음에 대한 보증과는 다릅니다
기대 오류율을 관리해도 이번에 선택한 결과 집합의 거짓 비율이 반드시 그 기준 이하라는 보장은 아닙니다. 논문 역시 시행별 변동과 추정의 불확실성을 강조합니다. q값도 선택 집합의 오류 기준과 관련된 양으로 읽어야 하며, 별도 모형 없이 특정 가설이 거짓일 사후 확률로 바꾸어 읽으면 안 됩니다. 방법의 성질은 독립성 등 분석 가정과 함께 살펴야 합니다. [1]
세 번의 연구에서 비율을 어떻게 평균 낼까요?
LTCT 예시에서 세 번의 가상 시행이 있습니다. 첫 시행은 결과 10개를 선택했는데 거짓이 1개이고, 둘째 시행은 2개 중 1개가 거짓이며, 셋째 시행은 아무것도 선택하지 않았습니다. 거짓 비율은 각각 10%, 50%, 그리고 선택이 없을 때 0으로 정의합니다. 같은 확률로 세 시행이 발생한다고 가정하면 평균은 20%입니다.
선택이 있었던 두 시행만 조건으로 삼으면 평균 비율은 30%입니다. 한편 모든 선택 결과를 한 바구니에 넣어 거짓 2개를 총 12개로 나눈 약 16.7%는 다른 계산입니다. 시행마다 먼저 비율을 만든 뒤 평균 내는 것과, 분자·분모를 따로 합쳐 나누는 것은 일반적으로 같지 않습니다. 표의 세 행이 이 차이를 드러냅니다.
이 수치는 FDR 관리 기법의 실제 성능을 보여 주는 실험 결과가 아닙니다. 무엇을 평균 내는지 이해하도록 LTCT가 만든 확률 모형입니다. 또 선택된 특정 결과가 거짓인지 알기 위해서는 가정 아래의 오류율과 별개로 추가 자료·재현·내용 검토가 필요합니다. 하나의 집합 지표가 각 구성원의 상태를 알려 주지는 않습니다.
어디까지 말할 수 있을까요?
- 교육용 세 시행의 평균을 실제 연구의 FDR 추정식으로 그대로 사용하지 않습니다. 현실에서는 참인 영가설의 수를 알 수 없어 추정 문제가 생깁니다.
- 다중 검정 방법의 보장은 검정 통계량과 의존 구조 등 가정에 달려 있습니다. 모든 상관된 검사에 같은 결론을 적용할 수 없습니다.
원문에 근거한 한계와 LTCT의 적용 범위 검토입니다. [1]
교육 현장과 연결해 보면
수업에서는 같은 표로 “시행별 비율의 평균”, “선택이 있는 시행의 조건부 평균”, “전체 합계의 비율”을 구별하는 문항을 제안합니다. 계산 뒤에는 해당 지표로 개별 가설의 진실성을 확정할 수 있는지도 묻게 하면 숫자 읽기에서 해석의 범위 판단으로 연결됩니다.
수업의 문항 분석에서도 여러 문항·집단·하위지표를 비교할 때 검사 계획과 오류 기준을 기록하는 것이 좋습니다.
세 시행의 전체 합계로 얻은 약 16.7%를 위 모형의 FDR이라고 불러도 될까요?
생각을 비교할 해설 펼치기
이 모형에서 FDR은 시행별 거짓 비율의 기댓값이므로 20%입니다. 합계 비율 약 16.7%는 선택 수가 많은 시행에 더 큰 무게를 줍니다. 어떤 지표가 필요한지는 목적에 따라 다르지만 이름과 계산 방식을 일치시켜야 합니다. 특히 “평균 비율”이라는 말만으로 두 계산을 혼용하면 안 됩니다.
원문과 출처 정보
한국어 제목은 이해를 돕기 위한 LTCT 번역입니다. 한글 제목 뒤 괄호에 원제를 함께 표기했습니다. 저자·학술지·원문 버전은 원문 서지정보를 기준으로 확인할 수 있습니다.
거짓 발견률에 대한 직접적 접근 (A direct approach to false discovery rates)
John D. Storey (2002). Journal of the Royal Statistical Society, Series B 64(3), 479–498.
- 자료 성격
- 학술 논문 공개본
- 읽은 버전
- 2002년 출판 논문의 저자 프린스턴대학교 공개 PDF; 원고 2001-12 개정 표기
- 확인 범위
- 서론, FDR·pFDR 정의, 추정 접근·q값과 수치 예시·논의 확인. 알고리즘 재현·증명 독립 검증은 하지 않음
- 원문 확인일
이 글은 한국어 해설이며 원문 전문 번역이 아닙니다. 도식과 활동의 제작·재구성 범위는 각 그림과 본문에 표시했습니다. 자료 선정과 출처 기준
같은 연구 흐름에서 이어 읽기
같은 원문, 저자·연구 흐름, 공통 개념 태그를 기준으로 연결한 관련 해설입니다.