오차막대와 신뢰구간은 평균 차이의 불확실성을 어떻게 보여 줄까?

같은 구성을 여러 번 실행해 평균과 흔들림을 남긴다

세 모델 구성을 같은 30개 요청 묶음에서 반복 평가했다고 하자. A의 평균 품질은 82점, B는 86점, C는 79점이다. 평균만 보면 B가 높지만 실행·표본·채점자에 따른 변동을 보지 않으면 차이의 안정성을 알 수 없다. 오차막대는 점 추정 주변의 변동 또는 추정 구간을 선으로 표시한다.

이 글의 수치는 교육용이다. 실제 평가에서는 독립 반복의 단위가 요청, 사용자, 날짜, 모델 실행 중 무엇인지 먼저 정한다. 같은 요청을 세 모델에 넣었다면 짝지은 자료이고, 서로 다른 요청 묶음이면 독립 표본이다. 표본 구조에 맞는 계산 없이 막대 길이만 비교하지 않는다.

오차막대는 표준편차·표준오차·신뢰구간일 수 있다

표준편차 SD는 관측값이 평균 주변에서 얼마나 퍼졌는지 나타낸다. 표준오차 SE는 평균 추정의 표본 반복 변동을 나타내며 단순 독립 표본에서는 SD/√n으로 계산한다. 신뢰구간은 추정 절차와 신뢰수준에 따라 하한·상한을 만든다. 범위와 사분위수도 막대로 그릴 수 있어 이름만 “오차막대”로는 뜻이 없다.

같은 자료에서도 SD 막대가 SE보다 길고 95% 신뢰구간은 보통 SE에 임계값을 곱한 길이다. NIST 자료는 평균 구간식이 자료의 무작위성·분포·위치·척도 안정성 같은 가정 아래 적절한지 먼저 확인한다. 그림에 n, 중심 통계량, 막대 정의, 신뢰수준과 계산법을 직접 적는다.

표본 수와 t 임계값을 사용해 평균 구간을 계산한다

독립이고 대략 정규적인 자료에서 모표준편차를 모르면 평균의 95% 신뢰구간은 평균 ± t×s/√n 형태로 계산한다. n=10이면 자유도 9의 t값은 약 2.262, n=30이면 약 2.045다. 같은 s에서도 n이 커지면 표준오차가 줄지만 관측값의 실제 퍼짐 SD가 자동으로 줄어드는 것은 아니다.

반복값이 시간적으로 자기상관되거나 같은 사용자에서 묶여 있으면 유효 표본 수가 명목 n보다 작을 수 있다. 단순 식을 적용하기 전에 독립성과 표집 구조를 확인한다. 소수점 자릿수는 불확실성보다 과하게 제시하지 않는다. 평균 82.347, 반폭 3.8이면 82.3 또는 82와 같이 목적에 맞춰 보고한다.

대칭 막대와 비대칭 구간을 구분한다

정규 근사 구간은 평균 주변에 대칭으로 그리는 경우가 많다. 비용·지연·비율처럼 분포가 한쪽으로 치우치거나 0과 1 경계가 있는 값은 하한과 상한 거리가 다를 수 있다. 로그 변환, 정확한 이항 구간, 백분위 부트스트랩 결과를 원척도로 되돌리면 비대칭 막대가 자연스럽다.

도표 도구가 하나의 ±값만 받는다고 비대칭 구간을 대칭으로 바꾸지 않는다. 하한과 상한을 별도 필드로 전달한다. 하한이 물리적으로 불가능한 음수가 되면 계산 가정과 변환을 재검토한다. 오류막대가 축 범위를 넘어 잘리지 않게 하고, 잘라야 할 경우 화살표와 실제 값을 제공한다.

신뢰구간 겹침만으로 차이 검정을 대신하지 않는다

두 독립 평균의 95% 신뢰구간이 겹치면 차이가 없다고 확정할 수 없고, 겹치지 않으면 모든 조건에서 실질적으로 중요하다는 뜻도 아니다. 관심 대상은 각 평균 구간이 아니라 두 평균의 차이 자체일 수 있다. 차이 추정값과 그 95% 신뢰구간을 직접 계산해 0과의 관계와 실제 중요 기준을 함께 본다.

같은 요청을 두 모델이 처리했다면 요청별 차이를 만든 뒤 그 평균 구간을 계산하는 짝지은 분석이 변동을 줄일 수 있다. 독립 집단 공식으로 바꾸면 상관 구조를 버린다. 다수 모델·지표를 반복 비교하면 선택 편향이 생기므로 사전 정의한 핵심 비교, 다중 비교 조정과 전체 효과표를 제공한다.

독립 반복과 짝지은 반복은 계산 단위가 다르다

A와 B를 같은 30개 문서에 적용했다면 문서 난이도는 두 점수에 함께 작용한다. 문서별 B−A를 계산하면 공통 난이도 변동을 제거해 모델 차이에 집중할 수 있다. 반면 각 모델에 다른 문서를 썼다면 독립 표본 비교가 된다. 실행 순서, 채점자, 프롬프트 버전을 맞춰 짝을 보존한다.

여러 사용자, 날짜, 문항이 중첩되면 단순한 막대 하나가 계층 구조를 숨긴다. 사용자별 평균, 날짜별 반복, 혼합효과 모형 또는 군집 부트스트랩을 검토한다. 도표에는 개별 점이나 얇은 선을 함께 그려 평균 막대가 표본 분포를 완전히 가리지 않게 한다.

정규 근사가 약하면 부트스트랩도 가정을 기록한다

분포가 치우치거나 통계량의 공식 표준오차가 어려우면 자료 단위 재표집으로 부트스트랩 구간을 만들 수 있다. 원래 표집 단위를 보존해 사용자 단위로 뽑을지 요청 단위로 뽑을지 정한다. 시계열은 블록 부트스트랩처럼 의존성을 보존하는 방법이 필요하다.

부트스트랩은 편향된 표본과 자료 누수를 고치지 않는다. 반복 수, 난수 시드, 구간 방식, 재표집 단위, 실패한 반복 처리를 기록한다. NIST가 소개한 불확실성 지침도 비정규 관측에서 부트스트랩 접근을 검토하며, 계산 결과가 물리적 경계를 벗어나지 않는지 확인하도록 한다.

LLM에는 원 반복값과 설계를 함께 준다

요약 평균만 주지 말고 관측ID, 구성, 요청ID, 사용자ID, 날짜, 반복값, 단위와 짝 ID를 제공한다. 결측·중복·범위를 검사하고 설계에 맞춰 SD, SE, 95% 신뢰구간을 각각 계산하게 한다. 손계산 가능한 작은 표본으로 식을 검산한 뒤 전체 자료에 적용한다.

LLM 설명에는 “오차막대” 대신 정확한 정의와 신뢰수준을 쓰게 한다. 개별값, 점 추정, 하한·상한을 표로 반환하고 차이 자체의 구간도 요구한다. 실제 반복값이 없으면 평균 주변에 임의의 막대를 만들지 말고 필요한 자료와 계산식만 제시하게 한다.

잘못된 오차막대는 짧게 보이도록 정의를 숨긴다

수정 전 그림은 ±1 SE를 쓰면서 범례에는 “오차”만 적고 95% 신뢰구간처럼 설명했다. 각 모델의 n이 달랐고 같은 요청의 짝을 버렸다. 막대가 겹치지 않는 두 점에 유의미 배지를 붙였지만 차이 구간과 실질 기준은 계산하지 않았다. 축을 78–87로 잘라 작은 차이를 확대했다.

수정 후 점·개별값·95% 구간을 함께 보이고 n, 짝 설계, t 또는 부트스트랩 방법을 캡션에 적었다. B−A 차이와 그 구간, 최소 의미 차이를 별도 행으로 제공했다. 축 범위를 공개하고 비대칭 구간을 유지했으며, 결론은 반복 설계와 가정이 지지하는 범위로 제한했다.

복사해서 쓸 수 있는 LLM 요청문

아래 요청문은 교육용 예시다. 원문을 함께 제공하고, 모델이 빈칸을 추측하지 않도록 금지 조건을 넣었다. 결과를 받으면 원문 문장과 노드·선의 대응을 사람이 다시 확인한다.

다음 반복 측정 자료의 오차막대와 신뢰구간을 검산해 줘.
1. 관측ID, 구성, 반복 단위, 짝 ID, 값과 단위를 확인한다.
2. 독립·짝지음·군집·시간 의존 구조를 판정한다.
3. 각 구성의 n, 평균, SD, SE를 계산한다.
4. 가정에 맞는 95% 신뢰구간의 식·임계값·하한·상한을 보인다.
5. 비대칭 구간은 하한·상한을 따로 유지한다.
6. 비교에는 평균 차이와 그 신뢰구간을 직접 계산한다.
7. 막대 정의와 신뢰수준을 제목·캡션에 적는다.
8. 원 반복값이 없으면 막대나 구간을 만들지 않는다.

[반복 측정표] …

직접 실습하고 결과를 읽기

이 실습은 브라우저 안에 준비한 교육용 자료만 사용한다. 외부 LLM을 호출하거나 실제 기관 자료를 조회하지 않는다. 입력을 바꾸어 결과가 어떻게 달라지는지 보고, 설명과 맞지 않는 결과가 나오면 어떤 정보가 빠졌는지 적어 본다.

자료와 출처

아래 자료는 이번 글의 정의와 표기법을 확인하는 데 사용했다. 생각그림과 사례 문장은 원자료를 복제하지 않고 이 글의 교육 목적에 맞게 새로 구성했다.

• NIST/SEMATECH e-Handbook, Graphical Output and Interpretation
• Grossfield 외, Best Practices for Quantification of Uncertainty and Sampling Quality, 2019