새 센서의 안정성을 보여 주기 위해 측정값 100개를 모았습니다. 그런데 센서는 한 대뿐이고, 같은 환경에서 100번 읽은 값입니다. 센서 100대를 한 번씩 측정한 자료와 같은 근거일까요? 숫자 행의 수만 보면 같지만, 그 값들이 어디서 왔는지 알면 답이 달라집니다.
연구를 읽는 두 가지 질문
자료의 행 수와 독립된 단위 수가 다릅니다
Stanley E. Lazic의 2010년 BMC Neuroscience 논문은 의사반복을 통계적으로 독립적이지 않은 관측을 독립인 것처럼 처리하는 문제로 설명합니다. 반복 측정, 계층 구조, 자료의 다른 의존 관계를 구분하고 잘못된 분석이 불확실성과 검정에 어떤 영향을 줄 수 있는지 검토합니다. 새 교육 프로그램의 효과 연구가 아니라 분석 방법에 관한 논문입니다. [1]
반복 측정에도 역할이 있지만 그 역할을 구분해야 합니다
같은 개체를 여러 번 측정하면 해당 개체의 평균을 더 정밀하게 추정할 수 있습니다. 그것이 새로운 개체를 추가한 것과 같은 모집단 정보는 아닙니다. 논문은 설계에 맞는 반복 측정·계층적 분석의 필요성을 강조합니다. 반복 자료를 버리라는 주장이 아니라 어떤 단위 사이의 변동을 추정하는지 명확히 하라는 설명입니다. [1]
100개 값의 서로 다른 세 가지 출처
LTCT가 만든 세 설계입니다. A는 센서 1대에서 100번, B는 센서 10대에서 각 10번, C는 센서 100대에서 각 1번 측정합니다. 세 설계 모두 표의 행은 100개입니다. 그러나 새로 제작되는 여러 센서의 성능 차이를 알고 싶다면 서로 다른 기기 수가 1·10·100이라는 차이를 중요하게 봐야 합니다. 기기 내부 반복과 기기 사이 반복을 같은 것으로 세지 않습니다.
그림은 100개의 점을 늘어놓는 대신 센서 수와 센서당 측정 수를 분리한 표로 만들었습니다. A는 기기 하나의 시간적 안정성을 자세히 볼 수 있고, C는 기기 간 차이를 넓게 볼 수 있습니다. B는 두 종류의 변동을 함께 살필 여지가 있습니다. 어느 설계가 항상 우월한지는 비용과 연구 질문, 측정 오차 및 기기 간 차이의 크기에 따라 달라집니다.
이 구분은 수업 자료에서도 중요합니다. 같은 학급 학생 30명의 답안이 있다고 해서 서로 독립적으로 배정된 학급 30개가 되는 것은 아닙니다. 수업 방법을 학급별로 배정했다면 배정 단위와 학생의 관측 단위를 함께 봐야 합니다. 다만 학생의 모든 응답이 완전히 같다는 뜻은 아니며, 의존 정도를 설계와 분석에 반영하는 문제입니다.
어디까지 말할 수 있을까요?
- 기기의 서로 다른 측정도 시간에 따라 의존할 수 있습니다. 개체 수만 바로잡았다고 모든 독립성 문제가 해결되는 것은 아닙니다.
- 반복 측정 자료를 전부 평균으로 줄이는 것이 언제나 최선은 아닙니다. 연구 질문과 모형에 따라 시간 변화나 계층 정보를 유지하는 분석이 필요할 수 있습니다.
원문에 근거한 한계와 LTCT의 적용 범위 검토입니다. [1]
교육 현장과 연결해 보면
수업에서는 자료 100행이라는 공통 조건 아래 측정의 출처가 다른 표 세 개를 제시하고, 각 설계가 답하기 좋은 질문을 연결하게 할 수 있습니다. 단순한 표본 크기 암기보다 ‘무엇이 새로 추가된 근거인가’를 판단하는 문항입니다.
학교의 평가 문항 검토에서도 응답 수와 응시자 수, 학급 수, 반복 회차를 구분해 기록하는 것이 필요합니다. 같은 학생의 여러 응답을 무조건 별도 학생처럼 세지 않는다는 원칙입니다.
반복 측정은 독립 표본이 아니므로 전혀 도움이 없을까요?
생각을 비교할 해설 펼치기
도움이 되는 질문이 있습니다. 한 기기의 평균이나 시간 변화를 더 잘 파악할 수 있습니다. 다만 여러 기기로 일반화하려는 질문에서는 기기 간 변동에 대한 정보가 추가로 필요합니다. 반복을 인정하되 그 역할을 정확히 설명해야 합니다.
원문과 출처 정보
한국어 제목은 이해를 돕기 위한 LTCT 번역입니다. 한글 제목 뒤 괄호에 원제를 함께 표기했습니다. 저자·학술지·원문 버전은 원문 서지정보를 기준으로 확인할 수 있습니다.
신경과학 연구의 의사반복 문제: 분석에 영향을 미치는가? (The problem of pseudoreplication in neuroscientific studies: is it affecting your analysis?)
Stanley E. Lazic (2010). BMC Neuroscience 11:5.
- 자료 성격
- 학술 논문 공개본
- 읽은 버전
- 2010년 학술지 공개 HTML 출판본
- 확인 범위
- 의사반복 정의, 동일 개체 반복·계층 구조, 불확실성·검정 영향과 분석 대응 논의 확인. 원자료 재분석은 하지 않음
- 원문 확인일
이 글은 한국어 해설이며 원문 전문 번역이 아닙니다. 도식과 활동의 제작·재구성 범위는 각 그림과 본문에 표시했습니다. 자료 선정과 출처 기준