Scheel 외는 Registered Reports 71편과 일반 심리학 보고 152편의 첫 가설에서 긍정 결과 비율을 비교했습니다. Claesen 외는 한 학술지의 초기 사전등록 연구 27편에서 계획과 실제 보고의 일치·변경 공개를 점검했습니다. 활동에서 포함 연구와 질문, 가상 논문의 변경 공개 상태를 바꾸며 각 자료가 직접 답하는 범위를 확인합니다.
1. 사전등록과 Registered Reports를 같은 말로 쓰지 않기
사전등록은 가설·방법·분석 계획을 데이터의 영향을 받기 전에 시각이 남는 저장소에 기록하는 절차입니다. 계획에서 벗어나는 것이 언제나 잘못은 아니며, 중요한 것은 무엇이 왜 바뀌었는지 독자가 구분할 수 있게 밝히는 일입니다.
Registered Reports는 계획 단계의 동료평가와 결과를 알기 전 원칙적 출판 수락을 더한 형식입니다. 따라서 ‘사전등록 배지’와 ‘Registered Reports’는 선택 편향을 막는 장치와 심사 시점이 서로 같지 않습니다.
2. 두 연구는 서로 다른 결과를 직접 측정했다
Scheel 외는 2018년 11월까지 출판된 Registered Reports 71편과 일반 심리학 보고 152편을 비교해 각 논문의 첫 가설에서 긍정 결과가 각각 약 44%와 96%였다고 보고했습니다. 이는 출판 형식과 긍정 결과 비율의 차이를 보여 주지만 연구가 형식에 무작위 배정된 것은 아닙니다.
Claesen 외는 2015~2017년 Psychological Science의 사전등록 배지 연구 가운데 비교 가능한 27편을 점검했습니다. 2편은 계획에서 벗어나지 않았고, 변경이 있던 25편 중 1편은 모든 변경을 공개했으며 9편은 변경을 하나도 공개하지 않았습니다.
| 연구 | 비교 대상 | 직접 결과 | 바로 말할 수 없는 것 |
|---|---|---|---|
| Scheel 외 (2021) | RR 71편·일반 보고 152편 | 첫 가설 긍정 결과 44%·96% | 형식이 차이를 단독으로 일으켰다는 인과 |
| Claesen 외 (2021) | 한 학술지 초기 사전등록 27편 | 계획 일치·변경 공개 상태 | 모든 분야·현재 사전등록의 준수율 |
| 두 연구 함께 | 출판 형식·보고 일치의 다른 층 | 투명성 장치도 실제 보고 확인이 필요 | 개별 논문 결과의 참·거짓 |
3. 숫자를 합치지 말고 질문에 맞는 연구를 고르기
‘긍정 결과 비율이 다른가?’에는 Scheel 연구가 직접 답하고, ‘계획과 실제 보고가 일치하는가?’에는 Claesen 연구가 직접 답합니다. 표본·결과 단위가 다르므로 44%, 96%, 2/27, 9/25를 평균해 ‘사전등록 신뢰 점수’를 만들 수 없습니다.
개별 논문을 읽을 때는 배지의 유무만 보지 말고 등록 문서 접근성, 등록 시점, 표본수·제외 기준·분석의 변경, 변경 이유 공개, 계획 분석과 탐색 분석의 구분을 확인합니다.
4. 관찰 비교의 범위와 초기 표본의 한계
Scheel 외는 Registered Reports와 일반 보고가 서로 다른 가설이나 저자 집단을 포함할 가능성을 한계로 논의합니다. Claesen 외는 단일 학술지의 초기 27편, 모호한 계획과 보고 때문에 일치 판단이 어려운 경우, 변경의 영향 크기를 같게 취급한 점을 제한으로 밝힙니다.
따라서 ‘Registered Reports는 선택 편향을 줄이도록 설계되었고 두 집단의 긍정 결과 비율은 달랐다’, ‘초기 사전등록 배지 표본에서는 공개되지 않은 변경이 관찰됐다’까지 말할 수 있습니다. 사전등록이면 모두 정확하다거나 변경이 있으면 결과가 거짓이라는 결론은 허용되지 않습니다.
포함 연구·질문·변경 공개 상태로 해석 범위 바꾸기
출발값은 두 연구를 모두 포함하고 계획 준수를 묻으며, 가상 논문은 변경 이유를 공개한 상태입니다.
Claesen 외의 초기 단일 학술지 27편에서는 2편이 계획과 일치했고, 변경이 있던 25편 중 1편이 모든 변경을 공개했으며 9편은 변경을 하나도 공개하지 않았습니다.
가상 논문: 계획 변경이 공개되었습니다. 변경 이유와 계획·변경 분석의 차이를 확인합니다.
| 자료 | 대상 | 직접 결과 | 직접 답하지 않음 |
|---|---|---|---|
| Scheel 외 | RR 71편·일반 보고 152편 | 긍정 결과 비율 | 계획 준수율·개별 결과의 참 |
| Claesen 외 | 초기 사전등록 27편 | 계획 일치·변경 공개 | 현재 모든 분야·개별 결과의 참 |
연구·질문·변경 공개 상태를 바꾸어 허용 문장 찾기
- 출발값에서 두 연구를 모두 포함하고 ‘계획과 실제 보고가 일치하는가’를 선택해 Claesen 연구가 직접 답하고 Scheel 연구는 배경 근거가 되는지 확인합니다.
- 질문을 ‘긍정 결과 비율이 다른가’로 바꾸어 직접 근거가 Scheel 연구로 바뀌는지 봅니다.
- 초기화 뒤 Claesen 연구를 끄고 계획 일치 질문을 유지해 직접 자료가 부족하다는 설명을 확인합니다.
- 가상 논문의 변경 공개 상태를 ‘변경 공개’와 ‘비교 정보 없음’으로 바꾸어 개별 논문에 허용되는 점검 문장이 달라지는지 보고 초기화합니다.
생각 확인 질문
‘사전등록 배지가 붙었으므로 이 논문은 계획을 완전히 지켰고 결과도 참이다’라는 문장을 두 연구의 범위에 맞게 고치세요.
내 답과 해설 비교하기
‘사전등록 배지는 계획이 사전에 기록되었음을 알리는 단서이지만 계획 준수와 변경 공개는 등록 문서와 실제 보고를 비교해 확인해야 한다. 초기 단일 학술지 표본 27편의 점검에서는 계획과 완전히 일치한 연구가 2편이었고 공개되지 않은 변경도 관찰됐다. Registered Reports와 일반 보고의 긍정 결과 비율 차이는 출판 형식과 선택 편향을 생각하게 하지만, 개별 논문 결과의 참을 보장하지 않는다’로 고칠 수 있습니다. 해당 논문의 등록 시점·계획·변경 이유·자료와 분석을 별도로 확인해야 합니다.
마지막으로 확인하기
- 사전등록과 Registered Reports를 구분했나요?
- 질문마다 직접 답하는 연구를 따로 골랐나요?
- 서로 다른 결과 단위의 비율을 평균내지 않았나요?
- 변경 공개와 결과의 참·거짓을 동일시하지 않았나요?
출처와 제작 안내
사례·표·연습·해설은 LTCT가 제작했습니다. 실제 조사 결과나 공식 시험 문항으로 제시한 자료가 아닙니다.
An Excess of Positive Results: Comparing the Standard Psychology Literature With Registered Reports
Anne M. Scheel, Mitchell R. M. J. Schijen, Daniël Lakens
2026-09-21 원문에서 Registered Reports 71편과 일반 심리학 보고 152편의 첫 가설을 비교해 긍정 결과가 약 44%와 96%였다는 결과, 결과를 알기 전 원칙적 출판 수락 구조, 가설·저자 집단 차이 같은 관찰 비교의 한계를 확인했습니다. 논문 표·도표는 전재하거나 효과를 새로 평균내지 않았습니다.
Comparing dream to reality: an assessment of adherence of the first generation of preregistered studies
Aline Claesen, Sara Gomes, Francis Tuerlinckx, Wolf Vanpaemel
2026-09-21 원문에서 비교 가능한 초기 사전등록 연구 27편 중 2편은 계획과 일치했고, 변경이 있던 25편 중 1편은 모든 변경을 공개했으며 9편은 변경을 하나도 공개하지 않았다는 결과를 확인했습니다. 단일 학술지의 초기 표본, 모호한 계획·보고, 변경 영향의 차이를 평가하지 않은 한계도 함께 반영했습니다.