논리적 사고

결과를 보기 전에 연구 방법만으로 출판을 결정할 수 있을까?

Chambers가 Cortex에 도입한 등록보고서 제안을 읽고, 결과의 방향보다 질문과 방법을 먼저 심사하는 절차가 선택적 출판을 어떻게 줄이는지 살펴봅니다.

그림에서 무엇을 볼까요?

결과 수집 전의 질문·방법 심사와 결과 수집 후의 실행·보고 심사를 두 단계로 나눈 흐름도.

가상 수업에서 ‘반례 찾기 훈련이 논증 점수를 높이는가’를 묻습니다. 자료를 보기 전에 120명 모집, 사전·사후 검사, 결측 처리, 주 분석을 적고 방법 점검 4항목 중 3항목을 통과하면 원칙적 승인을 줍니다.

결과가 8점 향상이든 0점 차이든 판정 기준은 바뀌지 않습니다. 이 수치와 사례는 LTCT가 만든 설명용 예시이며 Chambers의 보고 자료가 아닙니다.

2013년 사설은 등록보고서 형식의 도입 취지를 설명하며 제도의 장기 효과를 실험적으로 추정한 연구가 아닙니다.

사전 승인은 탐색 분석을 금지하지 않습니다. 사전 계획 분석과 사후 탐색 분석을 구분해 보고해야 합니다.

등록보고서라면 예상과 다른 결과도 모두 믿을 수 있나요?