온라인 자료 중간에 ‘지금 무엇을 이해하지 못했나?’라고 묻는 창을 띄우면 성적이 오를까? Juhaňák, Juřík, Dostálová, Juříková는 체코 인문·사회계열 학부생 110명을 대상으로 통제된 실험을 실시했다. 참가자는 프롬프트 유무 집단에 무작위 배정됐고, 모두 텍스트 자료와 멀티미디어 자료를 학습했다. 2025년 2월 23일 출판된 AJET 공개 PDF 18쪽 전편을 확인했다.
연구를 읽는 두 가지 질문
표본과 무작위 배정
참가자는 19~25세 체코어 모국어 학부생 110명으로 인문·사회과학 전일제 학생이었다. 프롬프트 집단과 통제집단에 무작위 배정한 between-subject 요인과, 모든 참가자가 텍스트 전용·텍스트+그림 자료를 모두 보는 within-subject 요인을 결합한 2×2 설계다. 자료 순서도 개인별 무작위화했다. 비교집단과 무작위 배정이 있으므로 프롬프트 조작의 단기 효과를 비교할 수 있지만 모집단은 제한적이다. [Juhaňák et al. (2025), Methods]
학습자료와 측정
광학 주제로 만든 8쪽 자료 중 4쪽은 텍스트, 4쪽은 텍스트와 시각정보의 조합이었다. 프롬프트 집단은 학습 전 계획, 중간 점검·조절, 학습 후 평가·성찰 질문을 세 차례 받았고 통제집단은 같은 시간 동안 일반 지시를 받았다. 이후 각 쪽당 난이도별 3문항, 총 24문항 지식검사를 치렀다. 결과는 문항 정오를 로짓 연결 일반화 선형 혼합모형으로 분석했다. [Materials and procedure]
주효과는 유의하지 않았다
메타인지 프롬프트의 계수는 β=0.114, SE=0.147, p=0.438이었고, 프롬프트 조건의 정답 오즈비는 1.12, 95% 신뢰구간 0.84~1.50이었다. 즉 이 실험에서는 프롬프트가 지식검사 정답 가능성을 높였다고 통계적으로 뒷받침되지 않았다. 멀티미디어 자료 관련 문항은 텍스트 자료보다 낮은 성과를 보였고 오즈비는 0.59, 95% 신뢰구간 0.49~0.71이었다. 유의하지 않음은 효과가 정확히 0이라는 증명은 아니다. [Confirmatory results]
사후분석과 해석의 경계
연구진은 사후 탐색에서 학생의 성취 수준과 자기조절·인지 처리 차이, 자료 유형에 따라 프롬프트 반응이 달라질 가능성을 논의했다. 사후분석은 후속 가설을 만드는 데 유용하지만 사전 확정 결과와 같은 강도로 읽으면 안 된다. 멀티미디어 조건도 특정 광학 자료의 텍스트+그림 구성이라 모든 영상·상호작용 자료를 대표하지 않는다. 즉 ‘메타인지 질문은 무용하다’보다 ‘짧은 프롬프트만으로 평균 성과 향상을 보장할 수 없다’가 정확하다. [Exploratory post-hoc analysis]
LTCT 적용: 프롬프트 자체를 처치로 검증하기
이 외부 연구는 LTCT 프로그램의 효과 검증이 아니다. 적용하려면 정답 전 ‘확신 근거’, ‘이해되지 않은 단계’, ‘전략 수정’을 묻는 프롬프트를 설계하고, 단순 알림과 구분해 무작위 파일럿을 실시한다. 비교집단 수, 표본 수, 배정 방식, 즉시·지연 검사, 자료 유형별 결과를 보고한다. 평균 효과가 없더라도 낮은 성취 학생에게 추가 예시나 피드백이 필요한지 사전등록한 상호작용으로 검증할 수 있다. [LTCT 적용 제안]
세 번의 질문이 자동 효과는 아니다
학습 전에는 ‘이미 아는 것은?’, 중간에는 ‘전략을 바꿀 필요는?’, 끝에는 ‘다른 사람에게 설명할 수 있나?’를 묻는다. 질문이 있어도 학습자가 형식적으로 넘기면 처리 과정은 달라지지 않을 수 있다.
프롬프트 조건과 일반 지시 조건을 같은 시간으로 맞추고 24문항 정오를 비교해야 질문의 추가 효과를 분리할 수 있다.
어디까지 말할 수 있을까요?
- 표본은 체코 인문·사회계열 학부생 110명이고 광학 8쪽 자료와 즉시 24문항 검사에 한정된다.
- 사후 개인차 분석은 탐색적이며, 유의하지 않은 평균 효과를 효과가 정확히 없다는 증명으로 해석할 수 없다.
원문에 근거한 한계와 LTCT의 적용 범위 검토입니다. [1]
교육 현장과 연결해 보면
교사는 메타인지 프롬프트 파일럿에 무작위 비교집단을 두고 배정·표본·자료 유형·지연 검사를 사전 기록합니다.
질문만 띄우지 말고 응답 내용, 전략 수정, 추가 피드백 사용을 과정 지표로 수집합니다.
p=0.438이면 메타인지 프롬프트는 효과가 없다고 확정할 수 있을까?
생각을 비교할 해설 펼치기
아니다. 이 설계와 표본에서 평균 향상이 통계적으로 확인되지 않았다는 뜻이다. 신뢰구간, 자료 유형, 개인차와 후속 검증을 함께 봐야 한다.
원문과 출처 정보
한국어 제목은 이해를 돕기 위한 LTCT 번역입니다. 한글 제목 뒤 괄호에 원제를 함께 표기했습니다. 저자·학술지·원문 버전은 원문 서지정보를 기준으로 확인할 수 있습니다.
메타인지 프롬프트가 학습 결과에 미치는 영향 탐색: 고등교육 실험 연구 (Exploring the effects of metacognitive prompts on learning outcomes: An experimental study in higher education)
Libor Juhaňák; Vojtěch Juřík; Nicol Dostálová; Zuzana Juříková (2025). Australasian Journal of Educational Technology 41(1), 42–59.
- 자료 성격
- 공개 학술지 논문
- 읽은 버전
- Published 2025-02-23; open PDF checked
- 확인 범위
- 18쪽 공개 PDF 전문에서 무작위 배정 2×2 설계, 참가자 110명, 8쪽 자료, 세 프롬프트, 24문항 검사, 혼합모형 결과와 탐색적 사후분석을 확인
- 원문 확인일
이 글은 한국어 해설이며 원문 전문 번역이 아닙니다. 도식과 활동의 제작·재구성 범위는 각 그림과 본문에 표시했습니다. 자료 선정과 출처 기준
같은 연구 흐름에서 이어 읽기
같은 원문, 저자·연구 흐름, 공통 개념 태그를 기준으로 연결한 관련 해설입니다.