한 숫자는 가장 그럴듯한 중심이지 오차 없는 정답은 아니다
온실에서 같은 품종의 씨앗을 둘씩 짝지어 두 보관 방법의 발아 시간을 비교했다고 해 봅시다. 표본에서 새 방법이 평균 4시간 빨랐습니다. 4시간은 관찰한 자료로 계산한 점추정입니다. 같은 모집단에서 새 표본을 뽑으면 짝별 차이와 평균도 달라질 수 있으므로, 이 한 숫자를 모집단의 고정된 참값처럼 쓰면 표본 변동을 숨기게 됩니다.
NIST 통계 편람은 표본 평균이 표본마다 변하기 때문에 아래·위 한계를 둔 구간 추정이 유용하다고 설명합니다. 여기서 95%는 계산을 마친 특정 구간 안에 참값이 95% 확률로 움직인다는 뜻이 아닙니다. 같은 모집 절차와 계산법을 매우 많이 반복했을 때 만들어진 구간 중 장기적으로 약 95%가 고정된 모수를 포함한다는 방법의 성질입니다.
따라서 결과 문장은 ‘효과는 4다’보다 ‘이 표본의 평균 차이는 4이고, 정한 모형 아래 95% 근사 구간은 얼마다’처럼 써야 합니다. 표본을 어떻게 뽑았는지, 관측들이 독립인지, 짝의 차이가 어떤 분포인지도 함께 적어야 숫자가 성립하는 자리가 보입니다.
표본 수가 커지면 같은 중심 주변의 통계적 정밀도가 높아진다
아래 교육용 계산은 평균 차이를 언제나 4, 짝별 차이의 표준편차를 10으로 고정합니다. 독립 비교쌍이 n개일 때 표준오차를 10÷√n, 95% 근사 오차한계를 1.96×표준오차로 둡니다. n=25이면 구간은 0.08~7.92, n=100이면 2.04~5.96, n=400이면 3.02~4.98입니다. 중심은 같아도 자료가 많아질수록 폭이 좁아집니다.
이 변화는 효과가 더 커졌다는 뜻이 아니라 같은 점추정의 통계적 정밀도가 높아졌다는 뜻입니다. 표준편차가 커지면 같은 표본 수에서도 구간이 넓어집니다. 신뢰수준을 99%로 높여 더 자주 참값을 포함하려 하면 배수도 커져 구간이 넓어집니다. 좁은 구간만 원한다고 신뢰수준을 사후에 낮추면 원래의 분석 계획을 바꾼 셈입니다.
표본 수를 네 배로 늘릴 때 표준오차가 절반이 되는 √n 관계도 확인해 보세요. 다만 반복 측정이나 같은 화분의 씨앗을 독립 사례처럼 세면 겉보기 n만 커집니다. 실제 독립 정보가 늘지 않았는데 공식을 적용하면 구간이 부당하게 좁아질 수 있습니다.
구간의 폭과 적용할 결정의 기준을 함께 읽는다
Cochrane 편람은 효과 추정치와 신뢰구간을 함께 보고, 구간이 중요한 이득·무효과·해로움 중 무엇을 포함하는지 살피라고 안내합니다. 0을 포함하지 않는다는 사실 하나가 효과의 크기와 중요성을 대신하지는 않습니다. 발아가 0.1시간 빨라지는 것이 실무상 의미가 없다면, 0보다 크다는 결과만으로 보관법을 바꿀 근거가 충분하다고 말하기 어렵습니다.
직접 확인할 때 먼저 결정에 중요한 최소 차이를 정하세요. 그다음 점추정, 아래 한계, 위 한계를 나란히 쓰고 구간 전체가 최소 차이보다 큰지, 무효과 0을 지나가는지, 해로운 방향까지 허용하는지 표시합니다. 마지막으로 누락·측정 오류·선택 편향처럼 구간 공식이 자동으로 고치지 못하는 문제를 따로 적습니다.
업무의 만족도 변화, 수업 점수 차이, 제작 시간 단축에도 같은 질문을 옮길 수 있습니다. 평균이 몇 점 달라졌는지만 보지 말고 표본 수와 변동성, 구간의 폭, 중요한 최소 차이, 모집 방법을 함께 확인하세요. 다음 그래프에서 점 하나를 보면 그 점을 둘러싼 가능한 범위를 먼저 찾는 습관이 필요합니다.
참고 · Holger J Schünemann 외 / Cochrane — 연구 결과를 해석하고 결론을 쓰는 지침 ↗