점수의 이름을 정확히 붙입니다.
어떤 점수를 ‘논리적 사고’라고 부르려면 실제 문항이 관계 읽기와 추론을 충분히 요구해야 합니다. 이름은 문항이 보여 주는 수행과 맞아야 합니다.
사고를 보는 8장 · 06
함께 쓰이는 사고를
왜 평가에서는
구분할까요?
실제 문제에서는 논리적 사고, 비판적 사고, 창의적 사고가 함께 작동합니다. 평가는 그 복잡한 사고 가운데 어떤 능력을 어떤 수행으로 확인할지 정하고, 점수의 의미를 그 범위에 맞게 설명하는 과정입니다.
핵심부터
함께 작동한다는 사실과 하나의 점수로 해석한다는 것은 다른 문제입니다.
평가는 특정한 능력에 대해 어떤 수행을 증거로 볼지 정하고, 그 증거를 체계적으로 모으는 설계입니다.
서로 관련된 능력을 한 평가 안에서 함께 다룰 수 있습니다. 그때도 각 점수가 무엇을 뜻하는지, 어떤 문항과 반응이 그 해석을 뒷받침하는지는 분명해야 합니다.
왜 구분할까요?
정확한 이름, 분명한 증거, 적절한 해석, 검증 가능한 설계.
사고를 구분하면 평가 결과가 무엇을 의미하는지 더 정확하게 설명할 수 있습니다.
무엇을 증거로 볼지 분명히 합니다.
정답뿐 아니라 어떤 반응과 수행이 목표 능력을 보여 주는지 먼저 정합니다. 같은 상황도 질문이 달라지면 필요한 증거가 달라집니다.
점수의 해석 범위를 지킵니다.
시험이 직접 확인한 범위만큼 점수를 해석하면 결과의 의미가 선명해집니다. 관련된 다른 능력은 별도의 설명과 자료로 다룰 수 있습니다.
검증과 개선이 가능해집니다.
구인이 분명하면 문항이 그 능력을 제대로 대표하는지, 다른 요소의 영향이 과한지, 어떤 부분을 보완해야 하는지 점검할 수 있습니다.
평가 설계의 세 연결고리
구인 → 증거 → 과제
무엇을 알고 싶은지 정한 뒤, 어떤 수행이 그 능력을 보여 주는지 정하고, 그 수행이 나타나는 과제를 설계합니다.
무엇을 측정하려는가?
예: 관계를 읽고 관계를 바탕으로 추론하는 능력.
어떤 반응이 그 능력을 보여 주는가?
예: 조건을 정확히 연결하고 가능한 결론과 반례를 구분하는 수행.
어떤 문제를 주어야 그 수행이 나타나는가?
예: 서로 다른 자료에서 관계를 읽고 추론해야 풀리는 문항.
같은 상황, 다른 측정
도서관 좌석 문제도 질문이 달라지면 측정하는 수행이 달라집니다.
같은 소재에서도 질문과 수행이 달라지면 측정하는 능력도 달라집니다. 응시자가 실제로 무엇을 해야 하는지가 핵심입니다.
좌석 60석, 특정 시간대 이용 희망자 85명이라는 조건에서 어떤 부족 상황이 생기는가?
관찰하려는 증거
수치와 조건의 관계를 읽고 가능한 결과를 추론하는 수행
‘평균 이용 희망자 85명’이라는 자료가 좌석 증설 판단에 충분한 근거인지 검토하라.
관찰하려는 증거
자료의 범위·대표성·대안 설명을 점검하는 수행
기존 시설을 유지하며 대기 시간을 줄일 수 있는 서로 다른 해결책을 세 가지 제안하라.
관찰하려는 증거
다양한 대안을 만들고 과제 조건에 맞는 아이디어를 생성하는 수행
좋은 측정이 지키는 두 방향
평가하려는 범위는 충분히 담고, 관련이 적은 영향은 줄입니다.
구인의 중요한 부분을 충분히 다룹니다.
논리적 사고를 말하면서 한 종류의 퍼즐만 반복하면 전체 구인을 충분히 대표하기 어렵습니다. 관계·추론·반례·표현의 다양성을 함께 살펴야 합니다.
목표 능력과 관련이 적은 요소의 비중을 낮춥니다.
어려운 배경지식이나 낯선 문체가 목표 추론보다 점수에 더 큰 영향을 주면 해석이 흐려집니다. 문항은 목표 수행이 중심이 되도록 설계해야 합니다.
점수는 무엇을 말할 수 있을까요?
점수의 이름은 실제 문항이 모은 증거만큼 구체적이어야 합니다.
넓은 이름은 넓은 증거를 요구합니다. 구체적인 이름은 무엇을 잘했고 무엇을 더 살펴야 하는지 더 정확하게 보여 줍니다.
어떤 사고를 어떤 과제로 확인했는지 알기 어렵습니다.
평가 과제와 점수 해석의 연결이 분명합니다.
논능검의 선택
논능검은 ‘논리적 사고’를 중심 구인으로 정의합니다.
논리적 사고
관계 읽기, 관계로 추론하기, 서로 다른 문제에서 공통 관계와 추론 원리를 식별하는 수행을 중심으로 문항을 설계합니다.
비판적 사고와 만나는 부분
주장과 근거를 구분하고 반례와 결론의 범위를 살피는 일부 수행은 논리적 사고 문항 안에서도 나타날 수 있습니다.
창의적 사고와 만나는 부분
가능한 경우나 반례를 구성하고 다른 해결 구조를 탐색하는 일부 수행은 논리적 사고 활동과 만날 수 있습니다.
따라서 논능검 점수의 중심 해석은 논리적 사고에 두고, 비판적·창의적 사고 전체에 대한 결론은 별도의 평가 근거가 있을 때 제시하는 것이 적절합니다.
연구와 평가 기준
공신력은 넓은 이름보다 구인·증거·과제의 정합성에서 생깁니다.
다음 자료는 평가 목적과 구인을 명확히 하고, 점수 해석을 실제 관찰된 수행과 연결해야 한다는 원칙을 뒷받침합니다.
2014
Standards for Educational and Psychological Testing
AERA · APA · NCME검사 개발은 목적, 측정하려는 구인 또는 내용 영역, 대상 집단과 점수 해석을 먼저 명확히 하는 데서 시작해야 한다고 제시합니다.
자료 보기 ↗2003A Brief Introduction to Evidence-Centered Design
Robert J. Mislevy · Russell G. Almond · Janice F. Lukas평가에서 무엇을 주장할지, 어떤 관찰이 그 주장을 지지할지, 어떤 과제가 그 관찰을 끌어낼지를 연결하는 증거중심설계의 기본 틀을 설명합니다.
자료 보기 ↗2016Evidence-Centered Design
Michelle M. Riconscente · Robert J. Mislevy · Seth Corrigan학생 모델, 증거 모델, 과제 모델을 통해 평가 구인과 문항, 점수 해석을 체계적으로 연결하는 방법을 정리합니다.
자료 보기 ↗2023PISA 2022 Creative Thinking Framework
OECD창의적 사고라는 복합 구인을 정의한 뒤, 어떤 수행을 증거로 볼지 정하고 그에 맞는 문항과 채점 방식을 설계한 실제 사례입니다.
자료 보기 ↗8장으로 이어서 보기
이제 측정 범위를 더 구체적으로 정리합니다.
07 · 다음 장
논능검 점수가 말할 수 있는 범위를 더 정확하게 정리합니다.
무엇을 직접 측정하고, 어떤 해석은 추가 자료가 필요한지 다음 장에서 구체적으로 구분합니다.
07 무엇을 측정하고 무엇을 측정하지 않는가 읽기 →