차이가 작다고 말하려면 어느 정도까지 확인해야 할까?

연구를 읽는 두 가지 질문

처리 시간 차이의 세 가지 교육용 결과

아래 수치는 실제 프로그램을 측정한 결과가 아닌 LTCT의 가상 예시입니다. 새 프로그램에서 기존 프로그램을 뺀 평균 처리 시간 차이를 초 단위로 읽습니다. 실무상 허용할 차이를 사전에 -3초보다 크고 +3초보다 작은 범위로 정했다고 가정합니다. 양수이면 새 프로그램이 더 오래 걸린다는 뜻입니다.

결과 A의 90퍼센트 신뢰구간이 -2초부터 +2초라면 두 경계 안에 들어갑니다. 이 예시의 절차와 가정 아래에서는 허용 범위 내의 동등성을 지지합니다. 결과 B의 구간이 -8초부터 +8초라면 0을 포함하지만 허용 범위 밖의 차이도 배제하지 못합니다. ‘차이가 확인되지 않았다’는 말만으로 A와 B를 같은 결론으로 묶으면 정밀도의 차이를 잃습니다.

결과 C의 구간이 +4초부터 +6초라면 이번에 정한 동등성 조건을 만족하지 않습니다. 그림은 세 구간과 -3·+3초의 경계를 함께 보여 줍니다. 구간에 붙인 90퍼센트는 관측 후 고정된 참값에 확률을 직접 붙이는 표현과 구별해야 합니다. 같은 절차를 반복할 때 구간을 만드는 방법의 포괄 성질을 나타내는 빈도주의 용어입니다.

직접 연습에서는 경계를 -3·+3초로 정한 이유를 적어 보세요. 한 건의 소요 시간, 일일 처리량, 사용자가 체감하는 지연에 따라 같은 3초의 의미가 달라질 수 있습니다. 결과 B를 보고 나서 경계를 -9·+9초로 넓혀 동등하다고 꾸미는 방식은 사전의 실무 기준을 바꾸는 일입니다. 기준을 바꾼다면 그 이유와 시점을 공개해야 합니다.

같은 연구 흐름에서 이어 읽기

같은 원문, 저자·연구 흐름, 공통 개념 태그를 기준으로 연결한 관련 해설입니다.