메타분석이 많은 연구를 모았다는 사실만으로 전체 증거가 대표적이라는 보장은 없습니다. 유의하거나 긍정적인 결과가 더 잘 보도되면 모인 연구 자체가 기울 수 있습니다.
연구를 읽는 두 가지 질문
연구 질문과 확인한 자료
František Bartoš, Maximilian Maier, Eric-Jan Wagenmakers, Franziska Nippold, Hristos Doucouliagos, John P. A. Ioannidis, Willem M. Otte, Martina Sladekova, Teshome K. Deresssa, Stephan B. Bruns, Daniele Fanelli, T. D. Stanley의 원자료 공개 전문을 확인했습니다. František Bartoš 등 12명은 의학 67,386건, 환경과학 199건, 심리학 605건, 경제학 327건 등 68,000건이 넘는 메타분석과 700,000건이 넘는 효과크기를 조사했습니다. 분야별 자료에 여러 출판선택 편향 모형을 적용해 편향 전후의 효과 존재 확률과 표준화 효과크기를 비교했습니다. [1]
방법과 핵심 결과
보정 뒤 중앙 효과 존재 확률은 경제학 99.9%에서 29.7%, 심리학 98.9%에서 55.7%, 환경과학 99.8%에서 70.7%, 의학 38.0%에서 29.7%로 낮아졌습니다. 중앙 절대 효과크기도 네 분야 모두 줄었습니다. 다만 이 값은 분야 평균의 흔적이며 특정 메타분석 하나가 틀렸다는 판정이 아닙니다. 효과크기와 표준오차의 패턴은 실제 이질성 등 다른 원인에서도 생길 수 있습니다. [1]
해석의 범위와 한계
선택되지 않은 연구 전체를 직접 관찰한 것이 아니라 공개 결과의 통계 패턴으로 편향의 흔적을 추정했습니다. 분야별 자료 구성과 효과척도가 다르므로 수치를 단순 순위표로 읽거나 개별 연구에 그대로 적용하면 안 됩니다. 발표일과 확인한 버전을 구분했으며 저자 국적은 추정하지 않았습니다. [1]
개념을 직접 점검하는 예시
효과가 큰 작은 연구만 보이는 깔때기와 양쪽에 연구가 고르게 있는 깔때기를 비교하고, 누락 가능성을 보정하기 전후 결론을 별도 칸에 씁니다.
그림은 출판선택 → 메타분석 → 편향 보정의 관계를 원 논문의 도표를 복사하지 않고 LTCT가 새로 구성했습니다. 화살표와 합류점은 조건이 어디에서 결론으로 연결되는지 보여 줍니다.
어디까지 말할 수 있을까요?
- 선택되지 않은 연구 전체를 직접 관찰한 것이 아니라 공개 결과의 통계 패턴으로 편향의 흔적을 추정했습니다. 분야별 자료 구성과 효과척도가 다르므로 수치를 단순 순위표로 읽거나 개별 연구에 그대로 적용하면 안 됩니다.
- 이 연구만으로 ‘발표되지 않은 연구가 빠지면 결론은 얼마나 달라질까?’에 관한 LTCT 교육·시험 효과를 확인할 수 없습니다. 본문의 수업·평가 아이디어는 별도 비교와 측정이 필요한 적용 제안입니다.
원문에 근거한 한계와 LTCT의 적용 범위 검토입니다. [1]
교육 현장과 연결해 보면
수업에서는 연구 종합을 읽을 때 포함 연구 수만 세지 않고 검색 범위, 미출판 자료, 작은 연구의 효과 분포를 함께 확인합니다.
수업 도식은 ‘실시된 연구’, ‘보고된 결과’, ‘출판된 결과’, ‘메타분석’의 네 문을 그립니다. 각 문에서 어떤 결과가 빠질 수 있는지 학생이 표시합니다.
편향 보정 뒤 평균 효과가 줄면 원래 포함된 모든 연구가 잘못됐다는 뜻일까요?
생각을 비교할 해설 펼치기
아닙니다. 선택된 기록 전체의 분포가 기울었을 가능성을 보정한 것이며, 개별 연구의 진위를 직접 판정하지 않습니다.
원문과 출처 정보
한국어 제목은 이해를 돕기 위한 LTCT 번역입니다. 한글 제목 뒤 괄호에 원제를 함께 표기했습니다. 저자·학술지·원문 버전은 원문 서지정보를 기준으로 확인할 수 있습니다.
의학·환경과학·심리학·경제학 메타분석에 남은 출판선택 편향의 흔적 (Footprint of Publication Selection Bias on Meta-analyses in Medicine, Environmental Sciences, Psychology, and Economics)
František Bartoš, Maximilian Maier, Eric-Jan Wagenmakers, Franziska Nippold, Hristos Doucouliagos, John P. A. Ioannidis, Willem M. Otte, Martina Sladekova, Teshome K. Deresssa, Stephan B. Bruns, Daniele Fanelli, T. D. Stanley (2024). Research Synthesis Methods, 15(3), 500–511.
- 자료 성격
- 국제 학술지 메타연구
- 읽은 버전
- arXiv v3 2023-09-26 전문 확인 · 2024-02-07 동료심사 출판본 대조
- 확인 범위
- arXiv v3 공개 전문과 Wiley 출판본 전체에서 네 분야 자료 규모, 선택 모형, 보정 전후 수치, 대안 설명과 한계를 확인. 2026-09-12 확인
- 원문 확인일
이 글은 한국어 해설이며 원문 전문 번역이 아닙니다. 도식과 활동의 제작·재구성 범위는 각 그림과 본문에 표시했습니다. 자료 선정과 출처 기준
같은 연구 흐름에서 이어 읽기
같은 원문, 저자·연구 흐름, 공통 개념 태그를 기준으로 연결한 관련 해설입니다.