문서가 새로 생겨도 참여자가 새로 생기지는 않는다
한 교육 프로그램을 지지하는 논문 열 편을 찾았다고 합시다. 제목과 학술지는 모두 달라도 네 편은 같은 참가자 120명의 1개월 결과, 세 편은 그 참가자의 6개월 추적, 나머지 세 편은 다른 기관의 참가자 80명을 분석했을 수 있습니다. 화면에는 열 문서가 보이지만 독립적으로 사람을 모집해 자료를 만든 출발점은 두 개입니다.
먼저 ‘기록(record)’, ‘보고서(report)’, ‘연구(study)’를 구분합니다. 검색 데이터베이스의 항목은 기록이고, 논문·학회초록·등록결과처럼 결과를 전달하는 문서는 보고서이며, 참여자를 모집하고 관찰·개입한 한 묶음이 연구입니다. 한 연구에 프로토콜, 중간 결과, 최종 결과, 후속 분석이 따로 발표될 수 있습니다.
PRISMA 2020은 체계적 문헌고찰에서 포함된 보고서와 포함된 연구를 구분해 흐름과 결과를 투명하게 기록하도록 안내합니다. 이 구분은 문서가 여러 개라는 사실을 버리자는 뜻이 아닙니다. 서로 다른 보고서가 방법 변경, 장기 추적, 부작용처럼 원연구의 다른 면을 보완할 수도 있으므로 연결을 보존해야 합니다.
참고 · Matthew J. Page 외 / BMJ·PRISMA Executive — 기록·보고서·연구를 구분하는 체계적 문헌고찰 보고 지침 ↗
같은 자료를 두 번 합치면 자신감이 거짓으로 커질 수 있다
문제는 같은 참여자의 같은 결과를 독립 관찰처럼 여러 번 합칠 때 생깁니다. 120명의 결과를 실은 네 보고서를 네 연구로 입력하면 계산상 480명의 자료처럼 보일 수 있습니다. 문서의 표현이 조금 달라도 표본과 사건이 겹친다면 정보가 네 배 새로 생긴 것이 아닙니다.
Lunny와 동료들은 여러 체계적 문헌고찰을 다시 종합하는 개요 연구에서 동일 원연구가 겹치는 문제를 다뤘습니다. 같은 원연구 결과를 한 분석에 여러 번 넣으면 표본 수와 사건 수가 부풀고, 불확실성이 실제보다 작아 보여 과도한 정밀성을 만들 수 있다고 설명합니다. 인용 행렬로 어느 검토에 어떤 원연구가 들어갔는지 표시하고, 포함 규칙·자료 추출·비뚤림 평가·종합 단계에서 중복을 관리하는 방법들을 정리했습니다.
다만 보고서 제목이나 저자 일부가 같다는 이유만으로 곧바로 중복이라고 확정해서도 안 됩니다. 모집 장소와 기간, 등록번호, 표본 수, 비교 집단, 측정 시점과 기초 특성을 함께 대조해야 합니다. 일부 참여자만 겹치거나 한 연구가 여러 시점의 독립 결과를 낼 때는 분석 질문에 맞는 처리 규칙을 미리 적어야 합니다.
출처 지도를 그리면 ‘몇 편’보다 ‘어디서 왔는가’가 보인다
아래 활동에서 열 보고서를 세 원연구로 묶은 상태와 여섯 보고서가 여섯 독립 연구인 상태를 바꾸어 보세요. 보고서 수, 원연구 수, 같은 원연구의 추가 보고 수가 따로 표시됩니다. 추가 보고가 쓸모없다는 판정이 아니라, 독립 근거의 수와 보고의 풍부함을 다른 칸에 기록하는 연습입니다.
실제 검토표에는 보고서마다 연구 등록번호, 모집 기간·장소, 참여자 수, 개입과 비교 조건, 결과 시점을 적고 같은 연구로 판단한 근거를 연결합니다. 종합 계산에는 한 결과가 한 번만 들어가는지 확인하고, 여러 보고서 중 어떤 수치를 골랐는지 규칙을 남깁니다. 불확실하면 저자 문의나 등록 자료 대조가 필요할 수 있습니다.
다른 분야에도 적용해 보세요. 기사 열 개가 같은 보도자료를 인용하거나, AI 답변의 링크 다섯 개가 같은 통계표를 재전달한다면 출발점은 하나일 수 있습니다. 반대로 같은 결론이라도 독립된 지역·시기·표본에서 얻었다면 반복 관찰의 가치가 있습니다. 다음에는 문서 수 대신 독립 자료 생성 단위와 서로 다른 조건의 수를 함께 말해 보세요.