도형을 움직여 길을 완성하는 게임을 만들었습니다. 빠르게 끝낸 학생은 관계 추론을 잘하는 걸까요, 조작에 익숙한 걸까요? 화면이 재미있고 정답이 명확해도 점수의 의미는 자동으로 정해지지 않습니다. 어떤 행동을 어떤 능력의 근거로 볼지 먼저 설명할 수 있어야 합니다. 증거 중심 설계는 이 설명을 평가 개발의 시작에 둡니다.
연구를 읽는 두 가지 질문
능력·증거·과제 모형을 구별하기
미슬레비와 리콘셴테의 2005년 SRI·메릴랜드대 보고서는 증거 중심 평가 설계의 층위와 구조를 정리합니다. 학생 모형은 무엇을 측정하는지, 증거 모형은 관찰된 산출물을 어떻게 평가하고 능력에 연결하는지, 과제 모형은 어떤 환경에서 그런 반응을 얻는지를 다룹니다. 관찰되는 몇 가지 반응으로 더 넓은 능력을 추론하는 구조를 명시하는 방법입니다. [1]
정답표만으로 채워지지 않는 연결
증거 모형에는 반응의 특징을 평가하는 절차와 여러 반응을 종합하는 측정 모형이 구분됩니다. 검사 조립 모형은 어떤 과제들을 얼마나 묶어 영역을 대표할지도 다룹니다. 보고서의 방법은 설계 틀과 사례의 설명이며 교육 효과 실험이 아닙니다. 표본·비교 집단·무작위 배정이 있는 개입 효과 연구로 소개할 수 없습니다. [1]
조건을 유지하며 배열을 고치는 능력
LTCT가 구성한 평가 목표는 ‘주어진 제약을 유지하며 배열 오류를 고칠 수 있다’입니다. 과제에는 세 물품의 배치와 두 조건을 줍니다. ‘망원경은 지도 왼쪽’, ‘나침반은 지도 오른쪽’입니다. 처음 배열을 지도·망원경·나침반으로 제시하고 조건을 모두 만족하도록 바꾸게 합니다. 가능한 올바른 배열은 망원경·지도·나침반입니다.
관찰할 증거는 최종 배열뿐 아니라 어느 조건이 처음에 위반되었는지의 설명입니다. 첫 배열은 망원경이 지도 오른쪽에 있으므로 첫 조건을 위반하지만, 나침반은 이미 지도 오른쪽에 있습니다. 이것을 구별한 설명이 있으면 관계 확인에 대한 더 구체적인 자료가 됩니다.
만약 시스템이 올바른 자리에만 물품을 놓도록 자동으로 막아 준다면 최종 성공의 의미가 달라집니다. 학습 지원으로는 쓸 수 있지만, 모든 관계를 수험자가 스스로 검토했다는 증거는 약해질 수 있습니다. 그림은 능력 주장·관찰 반응·과제 조건의 연결을 보여 줍니다.
어디까지 말할 수 있을까요?
- 증거 중심 설계표를 작성했다고 검사의 타당도가 확정되지는 않습니다. 실제 반응 자료와 대안 설명을 검토해야 합니다.
- 한 번의 성공만으로 넓은 추론 능력을 단정하기 어렵습니다. 내용·표현·난도가 다른 과제를 어떻게 묶을지도 설계해야 합니다.
원문에 근거한 한계와 LTCT의 적용 범위 검토입니다. [1]
교육 현장과 연결해 보면
학습용 게임을 설계하기 전에 어떤 관계를 이해했는지 보여 줄 학생의 행동을 적습니다. 정답 선택 외에 조건 설명, 반례 구성, 중간 상태 확인 가운데 필요한 증거를 고릅니다.
학생은 같은 게임을 더 어렵게 만드는 방법과 학습 목표를 더 깊게 묻는 방법을 비교합니다. 교사는 조작의 어려움, 글의 길이, 추론의 복잡성이 각각 어떤 역할을 하는지 확인합니다.
올바른 배열만 허용하는 화면에서 모두 성공했다면 모두 제약 관계를 이해했다고 말할 수 있을까요?
생각을 비교할 해설 펼치기
화면의 제약이 일부 판단을 대신했을 수 있습니다. 스스로 위반 조건을 설명하거나 자동 제한 없이 새로운 배열을 고치는 반응을 추가로 살펴야 합니다. 학습을 돕는 기능과 능력을 확인하는 증거를 구별하는 것이 핵심입니다.
원문과 출처 정보
한국어 제목은 이해를 돕기 위한 LTCT 번역입니다. 한글 제목 뒤 괄호에 원제를 함께 표기했습니다. 저자·학술지·원문 버전은 원문 서지정보를 기준으로 확인할 수 있습니다.
증거 중심 평가 설계: 층위·구조·용어 (Evidence-Centered Assessment Design: Layers, Structures, and Terminology)
Robert J. Mislevy; Michelle M. Riconscente (2005). PADI Technical Report 9 · SRI International / University of Maryland.
- 자료 성격
- 연구기관 기술보고서
- 읽은 버전
- 2005년 7월 연구기관 공개 기술보고서
- 확인 범위
- 공개 PDF의 표지·도입 및 2.3절 학생·증거·과제·검사 조립 모형 확인; 교육 효과 실험이 아님
- 원문 확인일
- 영구 식별
- DOI 미기재 · 아래 보존판 주소로 안내
이 글은 한국어 해설이며 원문 전문 번역이 아닙니다. 도식과 활동의 제작·재구성 범위는 각 그림과 본문에 표시했습니다. 자료 선정과 출처 기준