p=0.03이면 가설이 참일 확률이 97%일까요? 효과가 크고 중요한 뜻일까요? 미국통계학회(ASA)는 이런 해석이 널리 퍼진 상황에서 2016년 이사회 명의의 공식 성명을 내고 p값 사용의 여섯 원칙을 정리했습니다. 핵심은 p값을 없애자는 한 문장이 아니라, 특정 통계모형과 자료의 불일치를 나타내는 한 요약값을 과학적 결론 전체로 키우지 말자는 것입니다.
연구를 읽는 두 가지 질문
여섯 원칙은 무엇을 구분하나?
성명은 p값이 지정한 모형과 자료의 양립하기 어려운 정도를 나타낼 수 있지만, 연구가설이 참일 확률이나 자료가 우연만으로 생겼을 확률은 아니라고 밝힙니다. 임계값 통과만으로 정책·과학 결정을 해서는 안 되고, 완전한 보고와 투명성이 필요합니다. 또한 p값은 효과크기나 중요도를 재지 않으며, 단독으로 모형이나 가설에 대한 좋은 증거 척도가 되지 않는다고 정리합니다. [1]
그렇다면 p값은 버려야 하나?
성명은 적절히 계산·보고한 p값이 쓸모없다고 선언하지 않습니다. 연구 설계, 수치·그래프 요약, 현상 지식, 맥락 해석을 함께 보라고 요구합니다. 신뢰·예측구간, 가능도비, 베이즈 요인, 의사결정 모형, 거짓발견률 같은 보완 접근도 언급합니다. 확인한 ASA PDF는 3쪽짜리 공식 보도자료로 여섯 원칙과 배경을 제시하며, 동료심사 논문의 상세 해설은 DOI 페이지에 연결합니다. 동일한 p값도 표본 크기와 모형에 따라 전혀 다른 효과크기와 구간을 동반할 수 있습니다. 분석 도중 여러 가설과 제외 기준을 시도한 뒤 가장 작은 값만 제시하면 명목상 p값의 해석도 흔들리므로 탐색 과정 전체를 공개해야 합니다. [1]
작지만 정밀한 차이와 크지만 불확실한 차이
LTCT 가상 자료 A는 평균 차이 1점, 표준오차 0.4점이고 B는 차이 6점, 표준오차 4점입니다. A는 작은 효과라도 p값이 낮을 수 있고 B는 큰 점추정치라도 불확실성이 큽니다. 어느 쪽이 교육적으로 중요한지는 최소 중요 차이와 비용을 따로 정해야 합니다.
아래 활동은 p값·효과크기·사전등록 여부를 바꾸어 보고 문장이 어떻게 달라지는지 보여 줍니다. 실제 표본에서 p값을 재계산하지 않는 해석 훈련용 모형입니다.
LTCT 연구평가표에는 p값 옆에 효과크기와 구간, 표본·탈락, 분석 선택, 사전 계획, 모든 결과 보고 여부를 둡니다. ‘유의함/유의하지 않음’ 두 칸으로 결론을 끝내지 않습니다.
유의확률(p값)·효과크기·보고 조건을 바꾸어 결론을 점검하세요
p값과 효과크기, 보고 투명성을 따로 바꾸세요. 실제 자료의 검정 계산기가 아닙니다.
| 임계값 0.05 | 효과크기 | 투명성 |
|---|---|---|
| 통과 | 2점 | 아니요 |
분석 선택과 전체 결과를 먼저 공개해야 합니다.
어디까지 말할 수 있을까요?
- 공식 성명은 합의된 원칙과 권고이며 특정 교육 처치의 효과를 측정한 실험이 아닙니다.
- p값 해석은 사용한 모형·표집·측정 가정에 의존하므로 숫자만 떼어 평가할 수 없습니다.
원문에 근거한 한계와 LTCT의 적용 범위 검토입니다. [1]
교육 현장과 연결해 보면
통계 문장을 ‘지정한 모형을 가정할 때 관찰값 이상’으로 다시 쓰고 가설의 확률 표현과 구분합니다.
채점에서 효과크기·불확실성·투명성 중 빠진 항목을 찾아 보완하도록 합니다.
p가 0.051이면 효과가 없고 0.049이면 효과가 있나요?
생각을 비교할 해설 펼치기
두 값은 거의 같은 자료 양립도입니다. 경계 양쪽에 전혀 다른 결론을 붙이지 말고 추정치·구간·설계·의사결정 비용과 연구 맥락을 함께 봐야 합니다.
원문과 출처 정보
한국어 제목은 이해를 돕기 위한 LTCT 번역입니다. 한글 제목 뒤 괄호에 원제를 함께 표기했습니다. 저자·학술지·원문 버전은 원문 서지정보를 기준으로 확인할 수 있습니다.
유의확률(p값)에 관한 미국통계학회 성명: 맥락, 과정, 목적 (The ASA Statement on p-Values: Context, Process, and Purpose)
Ronald L. Wasserstein & Nicole A. Lazar (2016). The American Statistician, 70(2), 129–133.
- 자료 성격
- 학술지 성명 · 학회 공식 공개 자료
- 읽은 버전
- 2016-03-07 ASA 공식 3쪽 보도자료와 DOI 서지
- 확인 범위
- ASA 공식 PDF 전체에서 성명 배경, 여섯 원칙, 보완 접근을 확인; 학술지 본문의 상세 논평은 전문 미확인
- 원문 확인일
이 글은 한국어 해설이며 원문 전문 번역이 아닙니다. 도식과 활동의 제작·재구성 범위는 각 그림과 본문에 표시했습니다. 자료 선정과 출처 기준
같은 연구 흐름에서 이어 읽기
같은 원문, 저자·연구 흐름, 공통 개념 태그를 기준으로 연결한 관련 해설입니다.