‘차이를 못 찾음’은 ‘같음을 확인함’과 다르다
두 교육 프로그램의 채점 결과를 비교했더니 통상적인 차이 검정에서 유의한 차이가 나오지 않았다고 합시다. 흔히 ‘두 방법은 같다’고 줄여 말하지만, 그 검정이 직접 물은 것은 관찰된 차이가 0이라는 가설과 얼마나 어긋나는지입니다. 표본이 적거나 측정값이 흔들리면 실제 차이가 있어도 검정이 구분하지 못할 수 있습니다.
예를 들어 평균 차이 추정치가 +0.5점이어도 불확실성 구간이 −8점에서 +9점이면 0을 포함합니다. 동시에 실무에서 무시할 수 없는 큰 음의 차이와 양의 차이도 포함합니다. 이 자료는 ‘큰 차이가 없다’고 좁혀 말할 만큼 정밀하지 않으므로, 비유의 결과는 결론 보류에 가깝습니다.
반대로 등가성 질문은 먼저 ‘얼마까지를 실무상 같은 것으로 볼 것인가’를 정합니다. 두 채점법의 차이가 −5점과 +5점 사이면 교환 가능하다고 이해관계자가 자료를 보기 전에 합의했다고 합시다. 이제 질문은 0과 정확히 같은지가 아니라, 자료와 양립하는 차이 전체를 ±5점 안으로 제한할 수 있는지입니다.
FDA 지침은 우월성 검정과 사전 지정한 한계를 쓰는 비열등성 검정이 서로 다른 가설임을 보여 줍니다. Campbell과 Gustafson도 비유의를 효과 부재의 근거로 곧바로 쓰는 논리 문제와 등가성 한계를 사후에 고를 때의 해석 위험을 다룹니다.
신뢰구간 전체가 허용 범위 안에 들어와야 한다
활동의 ‘좁은 구간’은 평균 차이 +0.5점, 90% 등가성 구간 −2점부터 +3점입니다. 전체가 사전 한계 −5점과 +5점 안에 들어옵니다. 표본 추출과 분석 가정이 맞고 한계가 타당하게 정해졌다면, 양측 5% 등가성 검정에서 실무상 등가성을 지지하는 모양입니다.
‘넓은 구간’은 평균이 똑같이 +0.5점이지만 −8점부터 +9점입니다. 0도 포함하고 양쪽 한계도 넘습니다. 점추정치만 보면 거의 같아 보이지만 불확실성이 너무 큽니다. 더 많은 자료나 더 안정적인 측정이 필요하다는 뜻이지, 두 방법이 다르다는 증명도 같다는 증명도 아닙니다.
‘한쪽으로 이동’은 +2점부터 +10점입니다. 0을 포함하지 않지만 +5점 경계를 넘습니다. 차이의 방향을 뒷받침하는 자료가 등가성을 뒷받침하는 자료와 같지 않음을 보여 줍니다. 우월성, 비열등성, 등가성은 같은 선 위의 말장난이 아니라 서로 다른 질문과 판정 규칙을 갖습니다.
이 예시에서는 구간과 한계의 관계만 읽습니다. 실제 연구에서는 독립성, 배정과 눈가림, 탈락 자료, 분석 집단, 측정 도구의 신뢰도도 살펴야 합니다. 특히 한계를 결과를 본 뒤 넓히면 원하는 결론이 쉬워지므로 그 근거와 결정 시점을 기록해야 합니다.
참고 · U.S. Food and Drug Administration, CDER·CBER — 차이 검정과 허용 한계의 다른 질문 ↗
‘같다’는 말에 목적과 허용 손실을 붙인다
±5점은 자연법칙이 아닙니다. 두 채점법을 바꿔 써도 합격 결정, 비용, 학습자 부담에 의미 있는 손실이 생기지 않는다는 근거가 있어야 합니다. 한계가 지나치게 넓으면 중요한 차이도 등가라고 부르게 되고, 지나치게 좁으면 필요한 표본이 커지고 유용한 대안을 놓칠 수 있습니다.
보고할 때에는 두 집단의 요약값, 차이의 방향, 구간, 사전 한계와 그 근거를 함께 보여 줍니다. ‘p가 0.05보다 크다’ 한 줄이나 ‘평균은 거의 같다’는 문장만으로 교환 가능성을 선언하지 않습니다. 계획한 우월성 분석과 등가성 분석을 사후에 바꾸어 부르지 않는 것도 중요합니다.
제조 공정의 치수, 번역 평가의 점수, 센서 측정값에도 같은 질문을 옮길 수 있습니다. 무엇을 같은 것으로 취급하려는지, 허용 가능한 최대 차이가 얼마인지, 그 경계가 이용자의 손실과 어떻게 연결되는지를 먼저 씁니다. 그런 다음 불확실성 전체가 경계 안에 있는지 확인합니다.
새 자료에 적용할 질문은 네 가지입니다. 원래 검정은 차이를 찾는 검정인가 등가성을 보이는 검정인가, 허용 한계는 언제 누가 정했는가, 구간 전체가 한계 안에 있는가, 설계와 측정 조건이 두 방법을 공정하게 비교하는가. 이 조건이 갖춰질 때에만 ‘같다’의 범위가 선명해집니다.