증거·확률·인과관계

사전등록은 적어 두기만 하면 충분할까?

53쌍의 사전등록과 논문 비교는 분석 결정의 구체성과 일치 여부가 핵심임을 보여 줍니다.

53쌍의 사전등록과 논문 비교는 분석 결정의 구체성과 일치 여부가 핵심임을 보여 줍니다. 누구나 궁금해할 질문은 연구가 실제로 무엇을 비교했고 어디까지 말할 수 있느냐입니다. 이 글은 공개 원문을 기준으로 연구 질문·방법·결과와 적용 아이디어를 나누어 읽습니다.

학술 자료의 내용

연구를 읽는 두 가지 질문

연구 질문과 확인한 자료

Marjan Bakker, Coosje L. S. Veldkamp, Marcel A. L. M. van Assen, Elise A. V. Crompvoets, How Hwee Ong, Brian A. Nosek, Courtney K. Soderberg, David Mellor, Jelte M. Wicherts의 원자료를 공개 전문으로 확인했습니다. 무작위로 뽑은 구조화 사전등록 53건과 비구조화 53건을 논문과 대조하고 29개 연구자 자유도 항목을 두 코더가 점검했습니다. [1]

방법과 핵심 결과

구조화 문서는 더 구체적이었고 Cliff's delta는 0.49였습니다. 가설 개수의 완전 일치는 14%였지만 모든 불일치가 부정행위는 아닙니다. 수치와 범주는 원문이 보고한 범위에서만 사용하며, 본문에 없는 값을 보충하지 않았습니다. [1]

해석의 범위와 한계

문서 표본 비교이지 연구자를 양식에 무작위 배정한 실험이 아니며 공개 문서·시기·코딩 판단에 한정됩니다. 발표일과 확인한 버전을 구분하고 저자 국적은 추정하지 않았습니다. [1]

그림으로 생각하기

개념을 직접 점검하는 예시

‘이상치를 적절히 제외’ 대신 기준, 결과 변수, 표본 종료와 모형을 미리 적고, 결과 뒤 변경은 이유·시점과 함께 별도 기록합니다.

그림은 등록 전 계획 → 변경 기록 → 최종 보고의 순서로 읽습니다. 각 화살표 끝은 다음 단계의 경계에 닿고, 마지막 아래쪽 합류점에서 조건·범위·반례를 함께 확인합니다. 원 논문의 표나 그림을 복사하지 않고 LTCT가 개념 관계만 새로 그렸습니다.

등록 전 계획, 변경 기록, 최종 보고를 차례로 연결하고 조건·범위·반례를 확인하는 교육용 도식.
출처: Marjan Bakker, Coosje L. S. Veldkamp, Marcel A. L. M. van Assen, Elise A. V. Crompvoets, How Hwee Ong, Brian A. Nosek, Courtney K. Soderberg, David Mellor, Jelte M. Wicherts의 연구 개념을 바탕으로 LTCT가 자체 제작·재구성했습니다. 원 논문의 도표나 원자료를 재게시하지 않았습니다. 그림 크게 보기 ↗

어디까지 말할 수 있을까요?

  • 문서 표본 비교이지 연구자를 양식에 무작위 배정한 실험이 아니며 공개 문서·시기·코딩 판단에 한정됩니다.
  • 이 자료 하나만으로 LTCT 교육·시험의 효과를 확인할 수 없습니다. 대상, 비교 조건, 무작위 배정 여부와 측정 시점을 유지한 별도 평가가 필요합니다.

원문에 근거한 한계와 LTCT의 적용 범위 검토입니다. [1]

배운 내용을 수업에 적용하기

교육 현장과 연결해 보면

교실 설문 프로젝트를 시작하기 전에 조사 질문, 주요 결과, 참여 인원, 제외 기준을 계획서에 적습니다. ‘이상한 응답은 뺀다’처럼 모호한 표현은 다른 모둠이 그대로 실행할 수 있는 기준으로 고칩니다.

자료를 본 뒤 새 분석이 필요해지면 원래 계획과 변경 이유를 함께 남깁니다. 교사는 계획대로 확인한 결과와 자료를 보고 새롭게 탐색한 결과가 보고서에서 구별되는지 점검합니다.

한 번 더 생각하기

사전등록과 논문이 다르면 자동으로 무효인가요?

생각을 비교할 해설 펼치기

아닙니다. 정당한 변경은 가능하며 시점과 이유를 밝히고 탐색·확인 분석을 구분해야 합니다.

원문과 출처 정보

한국어 제목은 이해를 돕기 위한 LTCT 번역입니다. 한글 제목 뒤 괄호에 원제를 함께 표기했습니다. 저자·학술지·원문 버전은 원문 서지정보를 기준으로 확인할 수 있습니다.

  1. 사전등록의 품질과 구체성 확보 (Ensuring the quality and specificity of preregistrations)

    Marjan Bakker, Coosje L. S. Veldkamp, Marcel A. L. M. van Assen, Elise A. V. Crompvoets, How Hwee Ong, Brian A. Nosek, Courtney K. Soderberg, David Mellor, Jelte M. Wicherts (2020). PLOS Biology, 18(12):e3000937.

    자료 성격
    국제 학술지 메타연구
    읽은 버전
    2020년 출판 공개본
    확인 범위
    공개 원문 전문에서 연구 질문, 방법, 표본·비교 조건, 핵심 결과와 저자가 밝힌 해석 한계를 확인. 2020년 출판 공개본
    원문 확인일

이 글은 한국어 해설이며 원문 전문 번역이 아닙니다. 도식과 활동의 제작·재구성 범위는 각 그림과 본문에 표시했습니다. 자료 선정과 출처 기준

출처·개념 네트워크

같은 연구 흐름에서 이어 읽기

같은 원문, 저자·연구 흐름, 공통 개념 태그를 기준으로 연결한 관련 해설입니다.