논리적 사고

발표되지 않은 연구가 빠지면 결론은 얼마나 달라질까?

Bartoš 등은 네 분야 6만8천여 메타분석을 다시 분석해 선택 편향 보정 뒤 효과 존재 확률과 크기가 흔히 줄어드는 흔적을 보고했습니다.

그림에서 무엇을 볼까요?

출판선택, 메타분석, 편향 보정의 관계와 검토 지점을 설명하는 LTCT 교육용 도식.

효과가 큰 작은 연구만 보이는 깔때기와 양쪽에 연구가 고르게 있는 깔때기를 비교하고, 누락 가능성을 보정하기 전후 결론을 별도 칸에 씁니다.

그림은 출판선택 → 메타분석 → 편향 보정의 관계를 원 논문의 도표를 복사하지 않고 LTCT가 새로 구성했습니다. 화살표와 합류점은 조건이 어디에서 결론으로 연결되는지 보여 줍니다.

선택되지 않은 연구 전체를 직접 관찰한 것이 아니라 공개 결과의 통계 패턴으로 편향의 흔적을 추정했습니다. 분야별 자료 구성과 효과척도가 다르므로 수치를 단순 순위표로 읽거나 개별 연구에 그대로 적용하면 안 됩니다.

이 연구만으로 ‘발표되지 않은 연구가 빠지면 결론은 얼마나 달라질까?’에 관한 LTCT 교육·시험 효과를 확인할 수 없습니다. 본문의 수업·평가 아이디어는 별도 비교와 측정이 필요한 적용 제안입니다.

편향 보정 뒤 평균 효과가 줄면 원래 포함된 모든 연구가 잘못됐다는 뜻일까요?