같은 학생을 다시 재지 않아도 ‘학생들이 변했다’고 말할 수 있을까?

1. 종단 연구는 같은 사람의 경로를 연결합니다

ECLS-K:2011은 같은 아동을 유치원부터 5학년까지 추적한 종단 연구입니다. 같은 참여자의 여러 측정값을 연결할 수 있으므로 개인별 성장 경로와 경험 변화를 분석할 수 있습니다.

NCES 공식 설명은 동일 아동을 추적한다는 설계 범위를 분명히 합니다. 다만 조사에서 빠져나간 아동이 체계적으로 다르면 남은 참여자의 변화가 전체 시작 집단을 그대로 대표하지 않을 수 있습니다.

참고: U.S. National Center for Education Statistics · Early Childhood Longitudinal Study, Kindergarten Class of 2010–11

2. 반복 횡단면은 매 시점의 집단을 다시 그립니다

NAEP는 국가·주·참여 지역의 학생 집단을 반영하도록 표본 학교와 학생을 선정해 집단 수준 결과를 냅니다. 평가 주기의 4학년 표본은 다음 주기의 4학년과 같은 개인일 필요가 없습니다.

따라서 여러 시점의 대표 표본 평균을 비교하면 4학년 집단의 성취 추세를 말할 수 있지만, 특정 학생이 얼마나 올랐는지 직접 계산할 수는 없습니다. 서로 다른 학생의 값을 한 사람의 전후 점수처럼 빼면 분석 단위가 바뀝니다.

참고: National Assessment of Educational Progress · NCES · Select the Participants

참고: U.S. National Center for Education Statistics · NCES Handbook of Survey Methods: NAEP

3. ‘변했다’의 주어를 설계에 맞춥니다

종단 설계에서는 ‘추적한 학생들의 점수가 평균 4점 증가했다’처럼 사람과 추적 범위를 씁니다. 반복 횡단면에서는 ‘2026년 4학년 대표 표본의 평균이 2024년보다 4점 높았다’처럼 시점별 집단을 주어로 둡니다.

두 문장은 숫자가 같아도 뜻이 다릅니다. 전자는 개인 내 변화의 평균이고, 후자는 서로 다른 두 집단 분포의 차이입니다. 교육과정·인구 구성·표집·측정 도구 변화가 집단 차이에 함께 작용할 수 있습니다.

4. 대표성만으로 인과를 말할 수는 없습니다

대표 표본은 목표 집단의 상태를 추정하는 데 중요하지만 평균 변화의 원인을 자동으로 밝혀 주지 않습니다. 정책 도입 전후의 차이가 있어도 다른 동시 변화와 측정 조건을 검토해야 합니다.

상호작용은 동일 참여자 여부, 시점 수, 대표성 세 조건만으로 결론 범위를 나눕니다. 실제 연구 비교에서는 가중치, 표본 오차, 결측, 이탈, 문항과 척도의 동등성, 사전 계획을 추가로 확인해야 합니다.

참고: U.S. National Center for Education Statistics · NCES Handbook of Survey Methods: NAEP