증거·확률·인과관계

분석 방법을 조금 바꾸면 연구 결론도 달라질까?

명세 곡선 분석은 타당한 분석 선택들을 함께 드러냅니다. 결론 하나만 읽을 때 놓치기 쉬운 선택의 영향을 살펴봅니다.

같은 설문 자료를 분석했는데 한 보고는 관련이 크다고 하고 다른 보고는 거의 없다고 합니다. 둘 중 하나가 계산을 잘못했을 수도 있지만, 변수의 정의나 분석 대상·모형을 다르게 골랐을 수도 있습니다. 독자는 결론 뒤에 어떤 선택이 있었는지 확인할 수 있어야 합니다.

학술 자료의 내용

연구를 읽는 두 가지 질문

가능한 분석의 범위를 공개합니다

Simonsohn, Simmons, Nelson의 2020년 논문은 명세 곡선 분석을 제시합니다. 통계적으로 타당하고 이론적 근거가 있으며 중복되지 않는 분석 선택들을 정한 뒤, 결과와 선택의 관계를 함께 표시합니다. 저자가 공개한 출판본 수정 PDF에서 분석 집합 구성, 결과 표시, 결합 추론의 구별을 확인했습니다. [1]

아무 분석이나 많이 돌리는 방식과 구별합니다

분석 집합에는 부당하거나 중복되는 조합을 제외해야 하며, 무엇이 합리적인 선택인지에도 판단이 개입합니다. 같은 자료에서 나온 결과들은 서로 의존하므로 ‘긍정 결과가 몇 개’라는 단순 투표만으로 독립된 증거 수를 셀 수 없습니다. 분포를 보여 주는 기술과 전체 가설의 통계적 검정도 구분합니다. [1]

그림으로 생각하기

독서 시간과 추론 성취의 가상 분석 계획

LTCT의 교육용 상황에서 관심 질문은 ‘평소 독서 시간이 추론 과제 성취와 어떤 관계가 있는가?’입니다. 자료를 보기 전에 독서 시간 측정의 두 코딩 방식과 사전 성취 조정의 두 타당한 모형을 검토했다고 가정합니다. 네 조합이 같은 연구 질문에 적절한지 먼저 판단하고, 계산 결과가 좋다는 이유로 그 범위를 정하지 않습니다.

그림의 -0.8, +0.2, +1.1, +1.5라는 값은 실제 자료로 계산한 계수가 아닌 표시 방식을 설명하기 위한 가상 값입니다. 단위가 같은 추정치를 한 줄씩 놓고 어떤 코딩·모형을 썼는지 연결합니다. 독자는 결과의 방향이 어디에서 바뀌는지, 차이가 특정 선택에 몰려 있는지를 질문할 수 있습니다. 이 그림에는 불확실성 구간을 넣지 않았으므로 통계적 확실성까지 판단할 수는 없습니다.

세 값이 양수라고 해서 독립된 연구 세 편이 독서 효과를 입증했다고 말할 수 없습니다. 같은 사람들의 자료를 여러 방식으로 다룬 결과이고, 관련성이 원인 효과인지도 연구 설계에 달려 있습니다. 선택을 투명하게 보여 주는 장점과 인과 결론을 보장하는 조건을 구별해야 합니다.

직접 활동에서는 네 결과 중 +1.5만 실린 짧은 보고와 네 결과·분석 기준이 함께 실린 보고를 비교해 보세요. 첫 보고만 읽을 때 어떤 질문이 사라지는지 적어 봅니다. 이어 네 선택 중 연구 질문과 어긋나는 조합이 있다면 결과를 보기 전 어떤 이유로 제외할지 설명합니다. 모든 가능한 숫자 조합을 끝없이 늘리는 것이 목표는 아닙니다.

두 코딩과 두 모형의 네 조합에 임의의 추정값 -0.8, 0.2, 1.1, 1.5를 연결한 표. 실제 분석 결과가 아님을 표시한다.
LTCT 자체 제작. 명세 곡선의 결과·선택 대응을 간단한 가상 표로 설명했습니다. 원연구의 허리케인 자료와 그림을 재게시하지 않았습니다. 그림 크게 보기 ↗

어디까지 말할 수 있을까요?

  • 표의 계수는 임의로 만든 교육용 값이며 연구 결과나 협회 회원 자료가 아닙니다. 통계 검정의 예시로 사용하지 않습니다.
  • 합리적인 분석 집합의 경계에는 전문적 판단이 필요합니다. 투명한 공개가 자료 품질·인과 설계·측정 타당성을 대신하지 않습니다.

원문에 근거한 한계와 LTCT의 적용 범위 검토입니다. [1]

배운 내용을 수업에 적용하기

교육 현장과 연결해 보면

학교 연구 해설에는 주요 분석 선택과 결과가 달라지는 조건을 기록하는 항목을 둘 수 있습니다. 결론의 강도뿐 아니라 어떤 선택에서 그 결론이 유지되는지 읽게 합니다.

평가 문항에서는 잘못된 선택, 타당한 대안, 서로 다른 연구 질문을 위한 분석을 분류하게 할 수 있습니다. 결과를 본 뒤 유리한 분석만 고르는 행동과 사전에 정한 비교를 구별하게 합니다.

한 번 더 생각하기

네 분석 중 세 개가 양수면 양의 관계가 입증된 것일까요?

생각을 비교할 해설 펼치기

단순한 다수결로 판단할 수 없습니다. 같은 자료를 공유하는 의존성과 각 추정치의 불확실성, 분석 선택의 타당성을 확인해야 합니다. 이번 그림은 결과 공개의 구조를 설명할 뿐 통계적 유의성을 제시하지 않습니다.

원문과 출처 정보

한국어 제목은 이해를 돕기 위한 LTCT 번역입니다. 한글 제목 뒤 괄호에 원제를 함께 표기했습니다. 저자·학술지·원문 버전은 원문 서지정보를 기준으로 확인할 수 있습니다.

  1. 명세 곡선 분석 (Specification curve analysis)

    Uri Simonsohn, Joseph P. Simmons, Leif D. Nelson (2020). Nature Human Behaviour, 4, 1208–1214.

    자료 성격
    국외 학술 논문
    읽은 버전
    2020년 출판본에 저자가 수정을 표시한 공개 PDF
    확인 범위
    정당화된 분석 집합, 잘못되거나 중복된 조합 제외, 결과 표시와 추론 절차를 확인. 공개 PDF의 수정 표시를 포함한 버전으로 안내.
    원문 확인일

이 글은 한국어 해설이며 원문 전문 번역이 아닙니다. 도식과 활동의 제작·재구성 범위는 각 그림과 본문에 표시했습니다. 자료 선정과 출처 기준

출처·개념 네트워크

같은 연구 흐름에서 이어 읽기

같은 원문, 저자·연구 흐름, 공통 개념 태그를 기준으로 연결한 관련 해설입니다.