논리교육과 평가

선지 다섯 개를 채우면 좋은 객관식 문항이 될까?

타당성 기준에 근거한 문항 지침은 목표·질문·선지의 맞물림을 살핍니다. 애매한 경계와 불필요한 단서가 정답을 바꾸는 문제를 점검해 봅니다.

문제의 정답을 알고 있어도 선지 두 개가 모두 맞으면 무엇을 골라야 할까요? 객관식 문항의 품질은 빈칸을 일정한 개수로 채웠는지보다 각 선택지가 질문에 어떻게 답하는지에 달려 있습니다. 논리적 사고를 평가하려는 시험에서는 출제자가 만든 애매함과 수험자의 실제 추론 오류를 구별할 수 있어야 합니다.

학술 자료의 내용

연구를 읽는 두 가지 질문

지침을 어떤 기준으로 정리했는가?

모레노·마르티네스·무니스의 2015년 논문은 기존 문항 작성 지침을 타당성 기준으로 체계화합니다. 목표에 맞는 정도, 명확성, 구별 가능성이라는 세 기준을 평가 목표의 규정, 질문의 표현, 선지 작성이라는 세 단계에 적용하여 아홉 지침을 제안합니다. 논리적 정리와 예시 분석을 사용하는 방법론 논문이며 무작위 교육 효과 실험은 아닙니다. [1]

선지는 질문과 연결되고 서로 구별되어야 한다

논문은 선지가 질문의 내용에 맞고 그럴듯해야 하며, 무엇이 정답인지 판단할 기준도 분명해야 한다고 설명합니다. 수량 구간이 겹치는 선지, 문법적으로 연결되지 않는 선지, 피상적 단서로 답을 유도하는 구성을 점검합니다. 많은 선지를 억지로 채우기보다 실제 오류를 표현하는 선택지가 중요합니다. 이런 지침은 완성된 검사의 실증 검증을 대신하지 않습니다. [1]

그림으로 생각하기

경계값 10이 두 선지에 들어가는 문제

LTCT의 가상 과제는 센서 기록의 값 10이 어느 구간에 속하는지 묻습니다. 선지가 ‘0 이상 10 이하’와 ‘10 이상 20 이하’라면 10은 두 선지에 모두 들어갑니다. 정답을 하나만 고르라는 지시와 선지의 경계가 충돌합니다. 어려운 추론이 아니라 문항 설계의 문제입니다.

이를 ‘0 이상 10 미만’, ‘10 이상 20 미만’, ‘20 이상 30 미만’처럼 고치면 경계의 소속이 분명해집니다. 다만 30 이상도 가능한 자료라면 그 범위를 포함하는 선지가 더 필요합니다. 구별 가능성만 해결하고 평가 대상의 범위를 빠뜨리면 여전히 완전한 문항이 아닙니다.

이 예시는 실제 논능검을 세 선지로 바꾸자는 제안이 아닙니다. 다섯 선지를 사용하는 경우에도 각 선지의 구간이 겹치지 않고 필요한 범위를 담도록 같은 원칙을 적용할 수 있습니다. 숫자를 일정한 순서로 배열하면 탐색 부담을 줄일 수 있지만, 배열의 규칙이 정답 위치를 드러내지 않는지도 확인해야 합니다.

첫 구간 0이상10이하와 둘째10이상20이하는10에서겹친다. 수정후0이상10미만 10이상20미만.
LTCT 제작 교육용 도식·표. 개념 출처: [1]. 예시·수치·배치는 LTCT가 새로 구성했으며 원문 도표나 사진을 복제하지 않았습니다. 그림 크게 보기 ↗

어디까지 말할 수 있을까요?

  • 이 논문은 지침 체계화 연구입니다. 특정 선지 수나 글자 길이 순서가 모든 검사에서 최적이라고 입증한 자료로 사용하지 않습니다.
  • 선지의 명확성과 그럴듯함은 실제 수험자의 해석에서도 확인해야 합니다. 출제자의 의도만으로 이해가 동일하다고 가정하지 않습니다.

원문에 근거한 한계와 LTCT의 적용 범위 검토입니다. [1]

배운 내용을 수업에 적용하기

교육 현장과 연결해 보면

평가 문항의 선지를 검수할 때 질문에 직접 답하는지, 정답이 하나인지, 경계값이 중복되는지, 외부 지식이나 문장 길이가 단서를 주는지 확인할 수 있습니다. 오답은 제시문의 관계를 잘못 적용한 경우로 설계하면 해설의 근거도 명확해집니다.

시범 시행 뒤에는 정답률만 보지 않고 거의 선택되지 않는 오답과 예상 밖으로 많이 선택된 오답을 살펴볼 수 있습니다. 어떤 해석으로 골랐는지 짧은 설명을 받아 의도한 사고 과정을 점검합니다.

한 번 더 생각하기

선지 구간을 서로 겹치지 않게 고쳤다면 문항 검수가 끝난 걸까요?

생각을 비교할 해설 펼치기

평가 대상의 모든 필요한 경우가 포함되는지, 제시문만으로 답할 수 있는지, 질문이 실제 목표 능력을 요구하는지도 확인해야 합니다. 겹침 제거는 중요한 한 단계지만 문항의 전체 타당성을 보장하지 않습니다.

원문과 출처 정보

한국어 제목은 이해를 돕기 위한 LTCT 번역입니다. 한글 제목 뒤 괄호에 원제를 함께 표기했습니다. 저자·학술지·원문 버전은 원문 서지정보를 기준으로 확인할 수 있습니다.

  1. 타당성 기준에 근거한 객관식 문항 개발 지침 (Guidelines based on validity criteria for the development of multiple choice items)

    Rafael Moreno; Rafael J. Martínez; José Muñiz (2015). Psicothema 27(4), 388–394.

    자료 성격
    학술 연구논문
    읽은 버전
    2015 학술지 공개판; 접수 2015-04-28, 채택 2015-09-11
    확인 범위
    공개 PDF 388~391쪽의 지침 구성 방법·세 기준·아홉 지침·선지 구성 예시 확인; 교육 개입 실험이 아님
    원문 확인일

이 글은 한국어 해설이며 원문 전문 번역이 아닙니다. 도식과 활동의 제작·재구성 범위는 각 그림과 본문에 표시했습니다. 자료 선정과 출처 기준