유의한 결과는 몇 사람의 결과가 바뀌면 사라질까?
취약성 지수는 두 집단의 이분형 결과에서 최소 몇 건을 바꾸면 통계적 유의성이 사라지는지 계산해 p값과 추적 손실을 함께 보게 합니다.
그림에서 무엇을 볼까요?
두 집단의 2×2 사건 표에서 비교 집단의 비사건이 사건으로 하나씩 이동하며 유의성 문턱에 가까워지는 과정.
가상 프로그램 시험에서 참여 집단 20명 중 15명, 비교 집단 20명 중 8명이 통과했다고 합시다. 아래 활동은 참여 집단의 통과 한 건을 미통과로 바꾸는 대신, 사건이 적은 비교 집단의 미통과를 통과로 한 건씩 바꾸어 두 집단 차이를 좁힙니다. 매 단계마다 양측 Fisher 정확검정 p값을 다시 계산합니다.
표에 표시되는 p값과 취약성 지수는 이 가상 2×2 표에서 직접 계산됩니다. 원 논문의 399개 시험 중 특정 사례를 재현하지 않습니다. 초기 표가 유의하지 않으면 취약성 지수라는 질문 자체가 적용되지 않는다는 점도 보여 줍니다.
함께 확인할 점
취약성 지수는 이분형 결과와 유의성 문턱에 크게 의존하며 연속 결과나 복잡한 모형을 같은 방식으로 평가하지 못합니다.
지수가 작다는 사실만으로 연구가 틀렸다고 할 수 없고, 지수가 크다고 편향·측정 오류·선택적 보고가 해결되는 것도 아닙니다.
생각해 볼 질문
취약성 지수가 2라면 연구 결과를 믿으면 안 되나요?
생각그림을 한 문단으로 펼치기
쓴 문단을 다시 생각그림으로 읽기
자신의 답을 만드는 생각그림