차이가 작다고 말하려면 어느 정도까지 확인해야 할까?

그림에서 무엇을 볼까요?

가상 처리 시간 차이의 90퍼센트 신뢰구간 A[-2,2], B[-8,8], C[4,6]과 동등성 경계 -3초·3초를 함께 그린 구간도.

아래 수치는 실제 프로그램을 측정한 결과가 아닌 LTCT의 가상 예시입니다. 새 프로그램에서 기존 프로그램을 뺀 평균 처리 시간 차이를 초 단위로 읽습니다. 실무상 허용할 차이를 사전에 -3초보다 크고 +3초보다 작은 범위로 정했다고 가정합니다. 양수이면 새 프로그램이 더 오래 걸린다는 뜻입니다.

결과 A의 90퍼센트 신뢰구간이 -2초부터 +2초라면 두 경계 안에 들어갑니다. 이 예시의 절차와 가정 아래에서는 허용 범위 내의 동등성을 지지합니다. 결과 B의 구간이 -8초부터 +8초라면 0을 포함하지만 허용 범위 밖의 차이도 배제하지 못합니다. ‘차이가 확인되지 않았다’는 말만으로 A와 B를 같은 결론으로 묶으면 정밀도의 차이를 잃습니다.