효과가 크고 p값이 작아야만 논문이 된다면 연구자는 어느 순간부터 질문보다 결과를 고르게 됩니다. 반대로 자료를 모으기 전에 질문·표본·분석 계획을 심사하고, 그 방법이 충분하면 결과가 기대와 달라도 게재를 약속할 수 있을까요? Christopher Chambers가 2013년 Cortex에 제안한 등록보고서는 바로 이 순서를 바꾸는 제도입니다.
연구를 읽는 두 가지 질문
심사의 순서를 어떻게 바꾸었나?
등록보고서는 결과를 모른 채 연구 질문과 방법을 먼저 평가하는 1단계 심사와, 승인된 계획을 제대로 수행했는지 확인하는 2단계 심사를 나눕니다. Cardiff ORCA의 저자 수락본과 서지정보에서 이 제안이 가설·방법을 결과 전에 평가하고, 통과한 계획에는 원칙적 게재 승인을 부여하는 Cortex의 새 형식으로 소개되었음을 확인했습니다. 이것은 ‘결과가 무엇이든 자동 게재’가 아닙니다. 질문의 가치, 설계의 타당성, 표본과 분석의 적절성은 먼저 엄격히 검토합니다. [1]
왜 결과를 모르는 심사가 중요한가?
전통 절차에서는 뚜렷한 결과가 더 쉽게 주목받고, 연구자는 분석을 여러 번 바꾸다 유리한 경로만 보고할 유인을 가질 수 있습니다. 등록보고서는 결과가 나오기 전에 분석 경로를 공개해 이 유인을 줄이려 합니다. 그러나 제도 자체가 나쁜 측정이나 부실한 이론을 고쳐 주지는 않습니다. 원문은 제도 도입을 알리는 짧은 사설이며 모든 학문 분야에서의 효과를 비교한 무작위 실험이 아닙니다. 따라서 ‘편향이 사라졌다’가 아니라 ‘결과와 방법의 심사 순서를 분리하는 장치가 생겼다’고 읽어야 합니다. [1]
효과가 없을 때도 남는 연구
가상 수업에서 ‘반례 찾기 훈련이 논증 점수를 높이는가’를 묻습니다. 자료를 보기 전에 120명 모집, 사전·사후 검사, 결측 처리, 주 분석을 적고 방법 점검 4항목 중 3항목을 통과하면 원칙적 승인을 줍니다.
결과가 8점 향상이든 0점 차이든 판정 기준은 바뀌지 않습니다. 이 수치와 사례는 LTCT가 만든 설명용 예시이며 Chambers의 보고 자료가 아닙니다.
교육평가에서는 학생 프로젝트도 ‘결과의 화려함’과 ‘질문·측정·분석의 충실함’을 분리해 채점할 수 있습니다. 계획서를 먼저 동료 검토하고, 최종 보고서에는 계획 변경표를 붙이면 결과를 보고 기준을 바꾸는 일을 눈에 보이게 할 수 있습니다.
방법 점수와 심사 시점을 바꾸어 판정을 비교하세요
가상 연구계획의 방법 점수와 심사 시점을 바꾸세요. 결과의 방향은 방법 심사와 분리됩니다.
| 방법 | 결과 | 판정 |
|---|---|---|
| 2/4 | 아직 모름 | 방법 보완 |
표본·분석·질문을 보완해야 합니다.
어디까지 말할 수 있을까요?
- 2013년 사설은 등록보고서 형식의 도입 취지를 설명하며 제도의 장기 효과를 실험적으로 추정한 연구가 아닙니다.
- 사전 승인은 탐색 분석을 금지하지 않습니다. 사전 계획 분석과 사후 탐색 분석을 구분해 보고해야 합니다.
원문에 근거한 한계와 LTCT의 적용 범위 검토입니다. [1]
교육 현장과 연결해 보면
학생 탐구에서 자료를 모으기 전에 질문, 표본, 측정 방법, 분석 계획을 다른 모둠이 읽게 합니다. 결과가 흥미로울지와 별도로 질문에 답할 수 있는 설계인지 의견을 주고받습니다.
실제 결과를 얻은 뒤에는 계획대로 진행한 부분과 바뀐 부분을 구분해 보고합니다. 교사는 예상과 다른 결과도 기록하게 하며, 방법을 검토한 이유와 결과의 해석을 연결하도록 합니다.
등록보고서라면 예상과 다른 결과도 모두 믿을 수 있나요?
생각을 비교할 해설 펼치기
아닙니다. 선택적 보고 위험은 줄지만 측정 타당도, 실행 충실도, 표본 대표성은 따로 검토해야 합니다. 중요한 것은 결과의 방향이 심사 기준을 몰래 바꾸지 못하게 하는 것입니다.
원문과 출처 정보
한국어 제목은 이해를 돕기 위한 LTCT 번역입니다. 한글 제목 뒤 괄호에 원제를 함께 표기했습니다. 저자·학술지·원문 버전은 원문 서지정보를 기준으로 확인할 수 있습니다.
등록보고서: 코텍스의 새로운 출판 계획 (Registered Reports: A New Publishing Initiative at Cortex)
Christopher D. Chambers (2013). Cortex, 49(3), 609–610.
- 자료 성격
- 동료심사 학술지 사설 · 기관저장소 저자 수락본
- 읽은 버전
- 2013년 게재판의 저자 수락 원고
- 확인 범위
- Cardiff ORCA 서지정보와 공개 수락본에서 등록보고서의 1·2단계 심사, 원칙적 게재 승인, 도입 취지를 확인
- 원문 확인일
이 글은 한국어 해설이며 원문 전문 번역이 아닙니다. 도식과 활동의 제작·재구성 범위는 각 그림과 본문에 표시했습니다. 자료 선정과 출처 기준
같은 연구 흐름에서 이어 읽기
같은 원문, 저자·연구 흐름, 공통 개념 태그를 기준으로 연결한 관련 해설입니다.