사전등록과 논문이 다르면, 연구는 약속을 어긴 걸까?

1. ‘다름’을 한 칸에 넣지 않습니다

Claesen 등은 300개 심리학 연구의 사전등록을 평가해 자료 수집 절차, 통계 모형과 제외 기준에서 논문과의 불일치가 주로 나타났다고 보고했습니다. 변수의 조작화는 다른 부분보다 상대적으로 더 재현 가능하고 일관되게 등록되었습니다.

결과변수 변경, 자료 수집 변경, 분석 모형 변경과 제외 기준 변경은 판단에 미치는 영향이 다릅니다. 무엇이 달랐는지 쓰지 않고 ‘사전등록을 어겼다’라고만 요약하면 독자가 위험의 위치를 확인할 수 없습니다.

참고: Claesen et al. · The potential of preregistration in psychology: Assessing preregistration producibility and preregistration-study consistency

2. 변경과 변경 공개 여부를 분리합니다

300개 연구 점검은 미공개 변경이 자주 나타났다고 보고하고, 더 충실한 등록 양식이 더 재현 가능한 사전등록과 연결됐다고 설명합니다. 변경 이유와 시점을 투명하게 보고하면 독자는 계획된 분석과 탐색적 분석을 구분할 수 있습니다.

89편의 점검 문헌을 모은 체계적 문헌고찰에서는 57편이 변경 공개 여부를 보고하지 않았습니다. 따라서 ‘불일치가 있었다’와 ‘불일치를 공개하지 않았다’를 같은 분모로 세어서는 안 됩니다.

참고: Claesen et al. · The potential of preregistration in psychology: Assessing preregistration producibility and preregistration-study consistency

참고: Salholz-Hillel et al. · Estimating the prevalence of discrepancies between study registrations and publications: a systematic review and meta-analyses

3. 서로 다른 자료의 비율을 새로 평균내지 않습니다

89편 문헌고찰은 6,314개 연구를 다룬 70편에서 주결과 불일치를, 1,436개 연구를 다룬 22편에서 부결과 불일치를 분석했습니다. 연구 분야와 불일치 정의가 달라 이질성이 컸고, 저자들도 광범위한 불일치를 추정한 값이라고 제한했습니다.

심리학 300개 연구 점검과 임상 중심 문헌고찰은 표본·분야·코딩 규칙이 다릅니다. 선택 활동은 직접 맞는 자료 수만 보여 주며 두 비율을 합치거나 평균내지 않습니다.

참고: Salholz-Hillel et al. · Estimating the prevalence of discrepancies between study registrations and publications: a systematic review and meta-analyses

4. 타당성 판단에는 추가 증거가 필요합니다

불일치는 선택적 보고 가능성을 살피는 신호입니다. 그러나 변경 이유, 자료·코드, 분석의 적절성, 재현 결과와 다른 비뚤림 위험을 보지 않고 결과가 거짓이라고 판정할 수는 없습니다.

따라서 결론은 ‘계획과 보고가 달랐고 공개 여부가 이렇다’까지로 제한합니다. 결과의 참·거짓이나 효과의 크기를 판단하려면 해당 연구 원문과 자료, 설계에 맞는 별도 평가가 필요합니다.