무엇을 평가할지 정하는 근거
관계 추론·유추·비판적 사고·창의적 사고·평가 설계 연구를 참고해 평가 구인과 문항 구조를 설계합니다.
사고를 보는 8장 · 08
연구는 평가의
근거를 세우고,
시험 데이터는 검증합니다.
관계 추론, 비판적 사고, 창의적 사고, 평가 타당도에 관한 연구는 LTCT가 무엇을 어떻게 평가할지 설계하는 이론적 토대를 제공합니다. LTCT 자체의 신뢰도와 타당도는 실제 응시 자료로 별도 검증합니다.
공신력의 두 층
이론적 근거와 시험 자체의 검증을 나누어 봅니다.
실제로 잘 측정하는지 확인하는 근거
시범검정과 실제 응시 자료를 이용해 문항 특성, 신뢰도, 내부 구조, 공정성, 점수 해석을 검증합니다.
02~07의 연구를 한곳에
네 갈래의 연구가 서로 다른 질문에 답합니다.
각 연구는 평가 구인의 서로 다른 부분을 뒷받침하며, 함께 LTCT의 이론적 토대를 구성합니다.
01
관계·유추·관계추론
서로 다른 대상에서 관계 구조를 읽고 공통 원리를 식별하는 능력의 이론적·측정적 토대를 제공합니다.
1983
Structure-mapping: A theoretical framework for analogy
Dedre Gentner유추에서 대상의 겉속성보다 대상들 사이의 관계가 어떻게 대응되는지가 핵심이라는 구조 대응 이론을 제시했습니다.
원문·자료 보기 ↗1983Schema induction and analogical transfer
Mary L. Gick · Keith J. Holyoak서로 다른 문제에서 일반적인 문제 구조를 추출하는 과정이 새로운 문제로의 유추 전이에 어떤 역할을 하는지 실험했습니다.
원문·자료 보기 ↗2016Measuring Relational Reasoning
Patricia A. Alexander 외관계 추론을 연구 기반으로 개념화하고 TORR을 개발해 신뢰도와 타당도 자료를 검토했습니다.
원문·자료 보기 ↗02
비판적 사고
주장·근거·판단을 검토하는 사고를 어떤 기능과 성향으로 설명하고 평가할지 보여 줍니다.
1990
Critical Thinking: A Statement of Expert Consensus
Peter A. Facione · APA Delphi Project비판적 사고를 목적 있는 자기조절적 판단으로 설명하고 해석·분석·평가·추론·설명·자기조절을 핵심 기능으로 정리했습니다.
원문·자료 보기 ↗2022Critical Thinking
David Hitchcock · Stanford Encyclopedia of Philosophy서로 다른 비판적 사고 정의의 공통점을 목표를 향한 신중한 사고로 정리하고, 증거 수집·평가·결론·판단 보류 과정을 설명합니다.
원문·자료 보기 ↗03
창의적 사고
창의적 사고를 실제 평가 구인으로 정의하고, 관찰 가능한 수행과 채점 방법으로 구현한 사례를 제공합니다.
04
평가 설계·타당도
무엇을 측정할지 정의하고, 어떤 수행을 증거로 볼지 정하며, 점수 해석을 지속적으로 검증하는 원리를 제공합니다.
2014
Standards for Educational and Psychological Testing
AERA · APA · NCME검사 목적, 측정 구인 또는 내용 영역, 대상 집단과 제안된 점수 해석을 명확히 하고 이를 뒷받침하는 증거를 축적하도록 제시합니다.
원문·자료 보기 ↗2003A Brief Introduction to Evidence-Centered Design
Robert J. Mislevy · Russell G. Almond · Janice F. Lukas무엇을 주장할지, 어떤 관찰이 그 주장을 지지할지, 어떤 과제가 그 관찰을 끌어낼지를 연결하는 증거중심설계의 기본 구조를 설명합니다.
원문·자료 보기 ↗1990Validity of Test Interpretation and Use
Samuel Messick타당도를 점수의 의미·관련성·유용성과 해석·사용을 뒷받침하는 누적적 증거의 문제로 설명합니다.
원문·자료 보기 ↗2016Validation Strategies
Michael Kane점수로 어떤 해석과 사용을 제안할지 먼저 명시하고, 그 추론 사슬을 뒷받침하는 증거를 검토하는 논증 기반 타당화 접근을 제시합니다.
원문·자료 보기 ↗LTCT와 어떻게 연결되나요?
연구와 문항 사이에 분명한 연결고리를 둡니다.
현재 연구가 제공하는 근거
지금 확보한 것은 평가 구인을 설계할 이론적 토대입니다.
겉소재와 관계 구조를 구분해 볼 이론적 근거
구조 대응과 유추 전이 연구는 서로 다른 문제에서 관계 구조를 비교하고 추출하는 사고를 설명합니다.
관계 추론을 별도 구인으로 측정한 선행 사례
TORR 연구는 관계 추론을 정의하고 실제 검사로 구현해 신뢰도와 타당도 자료를 검토했습니다.
비판적·창의적 사고와의 경계를 설명할 근거
비판적 사고 연구와 PISA 창의적 사고 평가는 각 구인이 요구하는 수행 범위를 구체적으로 보여 줍니다.
점수 해석을 증거로 검증해야 한다는 원칙
검사 기준과 타당도 연구는 구인·문항·점수 해석·사용을 하나의 증거 체계로 연결하도록 요구합니다.
LTCT 자체에 남은 검증
이론적 근거 다음에는 실제 시험 데이터가 필요합니다.
평가하려는 구인과 문항 설계의 연구 연결
LTCT가 관계·추론·공통 원리 식별을 왜 평가 대상으로 삼는지 관련 연구와 평가 원리를 제시할 수 있습니다.
LTCT 점수 자체의 신뢰도와 타당도
문항이 의도한 수행을 실제로 측정하는지, 점수가 일관되고 공정한지, 제안된 해석이 자료로 지지되는지 검증해야 합니다.
검증 로드맵
공신력은 단계별 증거가 쌓이면서 커집니다.
시범검정은 실제 자료를 이용한 검증의 시작점입니다.
현재 진행
이론적 근거
관계 추론·유추·논리적 귀결 연구를 바탕으로 무엇을 평가할지 정의합니다.
현재 진행
내용 대표성
문항이 관계 읽기·추론·공통 원리 식별을 충분히 대표하는지 전문가 검토와 문항 설계 기록으로 확인합니다.
시범검정 이후
시범검정 자료
정답률, 변별도, 응답 분포, 소요 시간과 오답 패턴을 분석해 문항 특성을 확인합니다.
자료 축적 후
신뢰도와 내부 구조
점수가 얼마나 일관되게 작동하는지, 예상한 하위 수행 구조가 실제 응답 자료에서도 나타나는지 검토합니다.
자료 축적 후
다른 측정과의 관계
관련 구인과는 적절한 관련성이 나타나고, 다른 구인과는 구분되는지 외부 평가 자료와 비교합니다.
지속 검증
공정성과 집단별 작동
특정 집단에 불필요하게 유리하거나 불리한 문항이 있는지 문항 기능과 응답 패턴을 검토합니다.
지속 검증
점수 해석과 사용
급수·합격·성취 수준에 붙이는 의미가 실제 자료와 사용 목적에 맞는지 지속적으로 확인합니다.
이 8장을 관통하는 원칙
측정한 것을 정확하게 설명합니다.
논리적 사고와 비판적 사고, 창의적 사고는 실제 문제에서 서로 만납니다. LTCT는 그 가운데 논리적 사고를 중심 구인으로 두고, 시험이 직접 확인한 수행과 실제 검증 자료에 맞춰 점수의 의미를 설명합니다.
사고를 보는 8장
01부터 08까지 한 흐름으로 완성되었습니다.
8장 읽기 완료
세 사고의 구분에서 논능검의 측정 원리까지 한 흐름으로 연결했습니다.
전체 지도를 다시 보거나, 실제 시험의 평가 목적과 급수·출제 영역으로 이어서 살펴볼 수 있습니다.