관계 읽기
글·표·그래프·다이어그램에서 대상, 조건, 주장, 근거가 어떻게 연결되는지 파악하는 수행을 봅니다.
사고를 보는 8장 · 07
점수는
측정한 범위만큼
말합니다.
논능검은 논리적 사고의 특정 수행을 직접 관찰하도록 설계합니다. 그 점수로 말할 수 있는 범위와 추가 근거가 필요한 해석을 구분하면 결과를 더 정확하고 책임 있게 사용할 수 있습니다.
해석의 원칙
직접 확인한 수행과 점수의 의미를 맞춥니다.
논능검 점수는 응시자가 시험 문항에서 보여 준 논리적 사고 수행을 설명합니다. 더 넓은 능력이나 다른 영역에 대한 결론에는 그에 맞는 추가 증거가 필요합니다.
타당도는 특정 점수 해석과 사용을 증거와 이론이 얼마나 뒷받침하는가를 살펴보는 문제입니다.
논능검이 직접 측정하려는 수행
문항 안에서 실제로 확인하는 네 가지 수행입니다.
문항은 이 수행들이 드러나도록 설계하고, 점수 해석도 이 범위를 중심으로 시작합니다.
관계를 바탕으로 추론하기
주어진 조건에서 어떤 결론이 따라오는지, 어떤 경우가 가능한지 판단하는 수행을 봅니다.
반례와 가능한 경우 구분
결론을 깨는 사례가 가능한지, 조건을 만족하는 경우와 조건에서 벗어나는 경우를 구분하는 수행을 봅니다.
공통 관계와 추론 원리 식별
서로 다른 문제에서 공통으로 나타나는 관계와 추론 원리를 식별하는 수행을 봅니다.
관련은 있지만 추가 근거가 필요한 해석
논리적 사고와 연결되는 넓은 해석에는 추가 근거가 필요합니다.
관련성이 있다는 사실과 직접 측정했다는 주장은 구분합니다. 더 넓은 해석에는 그 범위를 대표하는 과제와 자료가 필요합니다.
비판적 사고 전체
출처 신뢰성, 분야 지식, 판단 성향, 자기 점검까지 포함한 넓은 비판적 사고를 말하려면 별도의 과제와 자료가 필요합니다.
창의적 사고 전체
다양한 아이디어 생성, 독창성, 아이디어 평가·개선을 폭넓게 말하려면 창의적 사고에 맞는 별도 과제가 필요합니다.
모든 상황으로의 전이
시험에서 확인한 수행이 모든 교과·직업·생활 장면에서 같은 수준으로 나타난다고 말하려면 추가적인 전이 자료가 필요합니다.
전문 분야의 판단 능력
의학·법률·과학처럼 전문 지식이 중요한 판단은 논리적 추론과 함께 해당 분야 지식에 대한 별도 근거가 필요합니다.
별도 자료로 살펴보는 영역
논능검 점수 바깥에는 훨씬 넓은 사람이 있습니다.
전체 지능
전체 지능을 평가하려면 논능검보다 훨씬 넓은 구인과 과제가 필요합니다.
성격과 가치관
성격 특성, 신념, 가치관은 별도의 평가 자료와 기준으로 살펴보는 영역입니다.
인간적 가치
한 사람의 존엄성, 인격, 가능성은 시험 점수와 다른 차원의 가치입니다.
미래의 성공
학업·직업·인생의 성과를 말하려면 장기적이고 다양한 자료가 함께 필요합니다.
같은 점수도 표현에 따라 달라집니다
점수가 확인한 범위에 맞춰 정확하게 말합니다.
점수 보고 문구는 실제 문항과 검증 자료가 뒷받침하는 범위에 맞춰 작성합니다.
어떤 사고를 어떤 수행으로 확인했는지 알기 어렵고, 다른 능력까지 포함하는 인상을 줍니다.
관찰한 수행과 점수 해석이 직접 연결되어 결과의 의미가 분명합니다.
결과표에서는 이렇게
한 점수와 세부 수행을 함께 보여 주는 방향이 적절합니다.
시험 전체에서의 논리적 사고 수행
정해진 문항 범위에서 나타난 전체 수행 수준을 요약합니다.
관계 읽기 · 추론 · 공통 원리 식별
어떤 수행에서 강점과 보완점이 나타났는지 더 구체적으로 보여 줍니다.
점수가 말하는 범위와 사용 방법
전체 지능이나 미래 성과에는 별도의 자료와 평가가 필요하다는 점을 함께 안내합니다.
현재 LTCT의 검증 단계
평가 목표는 분명하게, 점수 해석은 자료가 쌓이는 만큼 정교하게.
평가 구인과 문항 설계 기준을 명확히 합니다.
관계 읽기, 추론, 공통 관계와 추론 원리 식별이라는 목표를 문항 구조와 연결합니다.
실제 응시 자료로 점수 해석을 검증합니다.
문항 특성, 신뢰도, 구인 구조, 난이도와 집단별 작동 등을 확인하며 결과 해석의 근거를 축적합니다.
새로운 증거에 따라 해석과 문항을 개선합니다.
타당도는 지속적인 연구와 검토를 통해 강화되는 근거 체계입니다.
연구와 평가 기준
점수의 공신력은 해석 범위를 분명히 하고 그 범위를 증거로 검증하는 데서 자랍니다.
다음 자료는 점수 해석과 사용을 먼저 명시하고, 그 주장을 다양한 자료로 지속적으로 검증하는 평가 원리를 보여 줍니다.
2014
Standards for Educational and Psychological Testing
AERA · APA · NCME검사의 타당도는 제안된 점수 해석과 사용을 증거와 이론이 얼마나 뒷받침하는가의 문제로 다룹니다.
자료 보기 ↗2016Validation Strategies: Delineating and Validating Proposed Interpretations and Uses of Test Scores
Michael Kane점수로 어떤 해석과 사용을 제안할 것인지 먼저 명확히 하고, 그 주장을 지지하는 증거를 검토하는 논증 기반 타당화 접근을 설명합니다.
자료 보기 ↗1990Validity of Test Interpretation and Use
Samuel Messick타당도를 점수 해석과 사용의 의미·적절성·유용성을 뒷받침하는 누적적 증거의 문제로 설명합니다.
자료 보기 ↗2020Validity Evidence Supporting the Interpretation and Use of TOEFL iBT Scores
ETS · John M. Norris실제 대규모 평가가 먼저 제안된 점수 해석과 사용을 명시하고, 이를 지속적인 연구 프로그램으로 검증하는 사례를 보여 줍니다.
자료 보기 ↗8장으로 이어서 보기
마지막 장에서 지금까지의 연구 근거를 한곳에 모읍니다.
08 · 마지막 장
이제 세 사고와 측정 원리의 연구 근거를 한곳에서 확인합니다.
02~07에서 사용한 주요 연구와 평가 기준을 분야별로 정리하고, LTCT가 어디까지 근거를 확보했고 무엇을 앞으로 검증해야 하는지 연결합니다.
08 연구 근거 읽기 →