학생이 토론에서는 좋은 반론을 말했는데, 객관식에서는 더 좋은 논증을 고르지 못할 수 있을까요? 만들기와 알아보기는 겹치지만 동일한 능력이 아닙니다. 한쪽이 늘었다고 다른 쪽도 자동으로 늘었다고 보면 평가가 어긋납니다.
연구를 읽는 두 가지 질문
연구 질문
연구진은 능숙한 논증이 무엇이며, 직접 논증을 산출하는 능력과 남의 논증을 평가하는 능력이 함께 발달하는지 물었습니다. 특히 서로 다른 형태의 검사 점수를 같은 ‘논증 능력’으로 합치지 않고, 과제가 요구하는 메타인지와 전략 선택을 나눠 보았습니다. [Goldstein, Crowell & Kuhn (2009)]
방법과 비교 집단
공개 전문은 6학년 학생, 1년간 집중적 논증 활동을 경험한 7학년 학생, 성인 전문가 집단을 비교합니다. 참가자는 쟁점에 대한 이유를 만들고, 컴퓨터 기반 적응형 강제선택 도구로 두 논증 중 더 강한 것을 평가했습니다. 집단은 무작위 배정된 동등 비교집단이 아니며, 훈련 경험과 학년·선발 차이가 함께 존재합니다. [Informal Logic 29(4)]
핵심 결과
훈련받은 7학년은 생산 과제에서 6학년보다 발달한 양상을 보였지만 평가 과제의 향상은 더 제한적이었고 전문가 수준에는 미치지 못했습니다. 연구진은 논증 산출에서 드러난 전략이 제시된 논증의 상대적 질을 판단하는 능력으로 곧바로 전이되지 않을 수 있다고 해석했습니다. 서로 동등화된 척도가 부족하다는 측정 문제도 스스로 지적합니다. [Goldstein et al. (2009), results]
학술적 의미
교육 효과를 말하려면 활동 중 더 긴 논증을 만들었다는 사실뿐 아니라 낯선 논증을 평가하는지, 반대로 좋은 답을 고른 학생이 스스로 구성할 수 있는지를 따로 확인해야 합니다. 이 연구는 생산과 평가를 분리 측정할 이유를 주지만, 비무작위 집단 비교이므로 1년 프로그램만이 차이를 만들었다고 인과적으로 확정하지는 못합니다. [Goldstein et al. (2009), discussion]
검수할 때 확인할 점
평가 설계자는 같은 내용을 다른 응답 형식으로 바꿔 비교해야 합니다. 제시된 두 근거 중 더 강한 것을 고르게 한 뒤 선택 이유를 쓰게 하고, 마지막에는 같은 기준으로 새 근거를 직접 만들게 할 수 있습니다. 선택은 맞았지만 설명이 비거나, 설명은 정확하지만 새 논증 생산이 막히는 패턴을 오류로 남기면 총점 하나가 숨긴 차이를 볼 수 있습니다. 전이 주장은 낯선 주제와 지연 검사에서 다시 확인해야 합니다. 또한 제목의 질문에 답할 때 연구가 직접 관찰한 결과, 저자가 제안한 해석, LTCT가 제시한 교육 적용을 서로 다른 색으로 표시해야 합니다. 표본과 과제 밖의 주장에는 ‘추가 검증 필요’ 꼬리표를 붙이고, 본문 수치와 도식의 방향이 일치하는지 마지막으로 대조합니다. [LTCT 비판적 읽기 제안]
정답 고르기와 이유 쓰기
LTCT 예시입니다. 학생에게 ‘학교 매점의 일회용품을 줄여야 한다’는 주장에 대한 두 이유를 고르게 하면 평가 과제입니다. 같은 주장에 반론과 재반론을 직접 쓰게 하면 생산 과제입니다.
두 과제는 근거 관련성을 공유하지만, 생산에는 아이디어 탐색과 표현이 더 필요하고 평가는 대안 비교와 판단 기준의 명시가 더 필요합니다. 한 점수로 다른 능력을 추정할 때는 별도 타당화가 필요합니다.
어디까지 말할 수 있을까요?
- 훈련 집단이 무작위 배정되지 않아 학년과 사전 능력 차이를 완전히 제거하지 못합니다.
- 생산과 평가 척도가 완전히 동등화되지 않았으므로 점수 크기를 직접 비교하기 어렵습니다.
원문에 근거한 한계와 LTCT의 적용 범위 검토입니다. [1]
교육 현장과 연결해 보면
문항 세트는 선택형 평가와 자유 서술형 생산을 짝지어 같은 쟁점에서 점수의 일치와 불일치를 관찰할 수 있습니다.
수업 전후 평가는 길이 증가만 보지 말고 반론 대응, 근거 관련성, 대안 비교를 별도 루브릭으로 기록할 수 있습니다.
객관식 논증 평가 점수가 높으면 서술형 논증도 잘 쓴다고 결론내릴 수 있을까요?
생각을 비교할 해설 펼치기
직접 결론낼 수 없습니다. 공통 지식은 있어도 아이디어 생성·표현·반론 구성 같은 추가 요구가 다릅니다. 두 과제를 함께 측정해 관계를 확인해야 합니다.
원문과 출처 정보
한국어 제목은 이해를 돕기 위한 LTCT 번역입니다. 한글 제목 뒤 괄호에 원제를 함께 표기했습니다. 저자·학술지·원문 버전은 원문 서지정보를 기준으로 확인할 수 있습니다.
능숙한 논증은 무엇이며 어떻게 발달하는가? (What Constitutes Skilled Argumentation and How Does it Develop?)
Marion Goldstein; Amanda Crowell; Deanna Kuhn (2009). Informal Logic 29(4), 379–395.
- 자료 성격
- peer-reviewed journal article
- 읽은 버전
- 2009-12-17 공개 학술지 PDF
- 확인 범위
- 17쪽 전문, 과제·집단 구성·결과·측정 한계 확인
- 원문 확인일
이 글은 한국어 해설이며 원문 전문 번역이 아닙니다. 도식과 활동의 제작·재구성 범위는 각 그림과 본문에 표시했습니다. 자료 선정과 출처 기준
같은 연구 흐름에서 이어 읽기
같은 원문, 저자·연구 흐름, 공통 개념 태그를 기준으로 연결한 관련 해설입니다.