두 수업의 평균 차이가 통계적으로 유의하지 않았다는 보고를 보면 ‘효과가 없다’고 말하기 쉽습니다. 그러나 표본이 적어 신뢰구간이 넓을 때도 같은 결과가 나옵니다. Daniël Lakens는 효과가 없다는 실용적 주장을 하려면 먼저 어느 정도의 차이부터 의미 있다고 볼지 경계를 정하고, 자료가 그보다 큰 효과를 배제하는지 검사하라고 설명합니다.
연구를 읽는 두 가지 질문
동등성 검정은 어떤 질문을 하나?
전통적 영가설 검정은 효과가 정확히 0이라는 가정 아래 자료가 얼마나 드문지를 묻습니다. p값이 기준보다 크다는 사실만으로 작은 효과와 불확실한 효과를 구분할 수 없습니다. Lakens의 실용 입문서는 최소 관심 효과 크기(SESOI)의 아래·위 경계를 사전에 정하고, 두 개의 단측 검정(TOST)으로 그 경계보다 큰 음·양 효과를 모두 기각하는 절차를 설명합니다. [1]
신뢰구간으로 어떻게 읽을까?
유의수준 5%의 TOST는 90% 신뢰구간이 동등성 경계 안에 완전히 들어오는지와 연결해 볼 수 있습니다. 구간이 0을 포함하면서 경계 밖까지 뻗으면 ‘차이를 발견하지 못함’과 ‘실질적으로 동등함’을 모두 확정하기 어렵습니다. 반대로 구간 전체가 경계 안이면 정한 목적에서 의미 있는 차이를 배제할 근거가 됩니다. 경계 자체는 통계가 자동으로 주지 않으며 이론·비용·측정 정밀도에 근거해 정해야 합니다. [1]
점수 차이와 허용 경계를 함께 움직이기
LTCT 가상 비교에서 새 풀이법과 기존 풀이법의 평균 차이를 점수 단위로 표시합니다. 효과 중심값, 90% 신뢰구간의 반폭, 실질적으로 의미 있다고 정한 경계를 움직여 보세요. 예를 들어 중심 0점, 반폭 1점, 경계 ±2점이면 구간 전체가 경계 안입니다.
반폭을 3점으로 넓히면 구간이 경계를 넘어갑니다. 중심값은 그대로여도 자료의 정밀도가 부족해 동등성을 결론내리기 어렵습니다. 중심을 3점으로 옮겨 구간 전체가 0의 한쪽에 놓이면 차이 방향을 지지하는 상태가 될 수 있습니다.
화면의 분류는 신뢰구간 위치를 익히는 기하적 모형이며 실제 TOST의 표준오차·자유도·p값을 계산하지 않습니다. 가상 점수도 LTCT 시험 효과를 측정한 자료가 아닙니다. 실제 평가에서는 경계를 사전에 문서화하고 표본설계와 측정오차를 함께 검토해야 합니다.
효과 구간과 의미 있는 경계를 바꾸어 판정하세요
가상 평균 차이의 90% 신뢰구간과 실질적 동등성 경계를 바꾸세요.
90% 구간 [-1, 1] · 동등성 지지
실제 TOST의 p값을 계산하지 않는 기하적 교육 모형입니다.
어디까지 말할 수 있을까요?
- 이 글의 원문은 통계 절차를 설명하는 방법론 논문이며 특정 교육 프로그램의 효과를 검증한 실험이 아닙니다.
- 조작 활동은 대칭 경계와 신뢰구간 포함 관계만 보여 줍니다. 실제 분석의 표본크기, 분포 가정, 표준화 효과, 다중비교를 대신하지 않습니다.
원문에 근거한 한계와 LTCT의 적용 범위 검토입니다. [1]
교육 현장과 연결해 보면
시험 개정 전후 평균이 유의하지 않았다는 이유만으로 동일하다고 보고하지 않고, 교육적으로 허용할 최대 차이와 점수 신뢰도를 먼저 정할 수 있습니다.
문항 공정성 검토에서도 ‘차이를 못 찾음’과 ‘실질적으로 같은 범위임’을 별도 판정으로 표시하면 표본 부족을 동등성의 증거로 오해하는 일을 줄일 수 있습니다.
신뢰구간이 동등성 경계 안이면 두 방법은 모든 면에서 같을까요?
생각을 비교할 해설 펼치기
정한 결과변수와 경계, 대상 집단, 측정 시점에서 큰 차이를 배제했다는 뜻입니다. 비용·학습 경험·하위집단 효과처럼 측정하지 않은 면의 동일성까지 보장하지 않습니다. 동등성 주장은 언제나 목적과 범위를 함께 밝혀야 합니다.
원문과 출처 정보
한국어 제목은 이해를 돕기 위한 LTCT 번역입니다. 한글 제목 뒤 괄호에 원제를 함께 표기했습니다. 저자·학술지·원문 버전은 원문 서지정보를 기준으로 확인할 수 있습니다.
동등성 검정: t 검정·상관·메타분석을 위한 실용 입문 (Equivalence Tests: A Practical Primer for t Tests, Correlations, and Meta-Analyses)
Daniël Lakens (2017). Social Psychological and Personality Science, 8(4), 355–362.
- 자료 성격
- 동료심사 학술지 방법론 논문 · 공개 전문
- 읽은 버전
- 2017-05 게재판, PMC5502906, CC BY 4.0
- 확인 범위
- 공개 본문 전체, TOST·SESOI·90% 신뢰구간·경계 사전 설정과 사례·한계 확인
- 원문 확인일
이 글은 한국어 해설이며 원문 전문 번역이 아닙니다. 도식과 활동의 제작·재구성 범위는 각 그림과 본문에 표시했습니다. 자료 선정과 출처 기준
같은 연구 흐름에서 이어 읽기
같은 원문, 저자·연구 흐름, 공통 개념 태그를 기준으로 연결한 관련 해설입니다.