결과를 보기 전에 논문을 심사하면 선택적 보고를 줄일 수 있을까? 등록보고는 연구 질문과 방법을 결과가 나오기 전에 심사하고 원칙적 게재 승인을 주는 출판 형식이다. 원자료의 발표일과 읽은 버전을 구분하고 연구 질문·방법·결과·한계와 LTCT 적용 제안을 차례로 살펴봅니다.
연구를 읽는 두 가지 질문
연구 질문
새롭거나 유의한 결과에 보상이 집중되는 출판 구조를, 자료 수집 전 심사로 바꿀 수 있는가? [1]
자료와 방법
Chambers의 2013년 Cortex 사설은 등록보고 도입 절차를 제안한다. 1단계에서 서론, 가설, 절차, 분석계획, 표본크기와 검정력을 자료 수집 전에 심사하고 통과하면 원칙적 게재 승인을 준다. 연구가 계획대로 수행된 뒤 2단계에서 결과와 해석, 원자료·실험 로그 제공 여부를 확인한다. 이 글은 제도 설계의 최초 발표이지 제도 효과를 추정한 비교 실험은 아니다. [1]
핵심 결과
출판 결정을 결과의 유의성이나 놀라움에서 질문의 중요성과 방법의 엄밀성으로 옮기는 것이 핵심이다. 승인된 계획을 지키고 품질 기준을 충족하면 결과 방향과 무관하게 게재될 수 있어, 결과를 본 뒤 가설을 바꾸거나 유의한 분석만 보고할 유인을 줄이려 한다. 탐색 분석은 금지하지 않고 사전 계획 분석과 구분해 표시한다. 원자료와 실험 로그 공개는 검증 가능성을 높이지만 윤리·개인정보 조건을 별도로 충족해야 한다. [1]
결과의 범위
2013년 사설은 등록보고의 효과를 수치로 평가한 연구가 아니므로 선택적 보고가 실제로 얼마나 감소했는지는 후속 연구가 필요하다. 장기 관찰, 긴급 연구, 이미 존재하는 자료처럼 사전 승인 적용이 어려운 설계가 있으며 심사 품질과 비용 문제도 남는다. 연구에서 직접 확인된 내용과 LTCT가 제안하는 수업·평가 아이디어를 분리해 읽어야 합니다. 통계적 차이와 교육적 중요성은 같은 말이 아니며, 측정하지 않은 장기 행동이나 다른 집단까지 같은 결과가 난다고 확장하지 않습니다. [1]
구체적으로 생각해 보기
학생이 비교집단, 7일 지연검사, 제외 기준을 먼저 제출했다고 하자. 결과가 유의하지 않아도 계획이 타당하고 실행이 충실하면 보고서를 완성한다. 결과를 본 뒤 새 하위집단을 찾았다면 삭제하지 않고 ‘탐색’으로 따로 표시한다.
도식은 1단계 방법 심사→원칙적 승인→자료 수집→2단계 준수·해석 심사로 이어진다. 화살표는 각 카드 경계에 맞추고 결과의 좋고 나쁨이 승인 경로를 가르지 않음을 표시했다. 이는 LTCT 자체 도식이다.
답을 고른 뒤 사용한 전제, 비교 기준, 남는 불확실성을 적습니다. 이 예시는 원 연구의 추가 결과가 아니라 LTCT가 만든 교육용 사례이며, 본문의 수치와 도식의 관계를 서로 대조했습니다.
어디까지 말할 수 있을까요?
- 2013년 사설은 등록보고의 효과를 수치로 평가한 연구가 아니므로 선택적 보고가 실제로 얼마나 감소했는지는 후속 연구가 필요하다.
- 장기 관찰, 긴급 연구, 이미 존재하는 자료처럼 사전 승인 적용이 어려운 설계가 있으며 심사 품질과 비용 문제도 남는다.
- 공개본에서 확인한 범위를 넘어 저자나 참가자의 속성을 추측하지 않았고 최초 발표일과 개정·권호 출판일을 구분했습니다.
원문에 근거한 한계와 LTCT의 적용 범위 검토입니다. [1]
교육 현장과 연결해 보면
교육 효과를 검증할 때 문항, 비교집단, 무작위 배정 여부, 제외 기준, 분석과 중단 규칙을 결과 확인 전에 고정합니다.
예상 밖 결과는 실패로 숨기지 않고 확인 분석과 탐색 분석을 구분해 공개합니다.
등록보고는 예상 밖의 발견을 금지하는가?
생각을 비교할 해설 펼치기
아니다. 사전 계획 분석과 결과를 본 뒤 제안한 탐색 분석을 명확히 구분한다. 핵심은 탐색을 숨겨 확인된 가설처럼 제시하지 않는 것이다.
원문과 출처 정보
한국어 제목은 이해를 돕기 위한 LTCT 번역입니다. 한글 제목 뒤 괄호에 원제를 함께 표기했습니다. 저자·학술지·원문 버전은 원문 서지정보를 기준으로 확인할 수 있습니다.
등록보고: 코텍스의 새로운 출판 계획 (Registered Reports: A New Publishing Initiative at Cortex)
Christopher D. Chambers (2013). Cortex 49(3), 609–610.
- 자료 성격
- 동료심사 학술지 사설·출판 제도 제안
- 읽은 버전
- 2012-12-26 온라인 선게재, 2013-03 권호 출판; 저자 공개 원고
- 확인 범위
- 2쪽 공개 원고 전체의 1·2단계 심사, 원칙적 승인, 자료·로그 공유 조건
- 원문 확인일
이 글은 한국어 해설이며 원문 전문 번역이 아닙니다. 도식과 활동의 제작·재구성 범위는 각 그림과 본문에 표시했습니다. 자료 선정과 출처 기준
같은 연구 흐름에서 이어 읽기
같은 원문, 저자·연구 흐름, 공통 개념 태그를 기준으로 연결한 관련 해설입니다.