막대그래프로 여러 모델의 점수를 공정하게 비교하려면?

한 번의 막대는 범주 하나의 같은 단위를 나타낸다

네 모델의 한국어 요약 정확도를 비교한다고 하자. 막대의 범주는 모델 A–D이고 길이는 같은 평가셋에서 계산한 정확도다. 색은 모델 이름을 반복할 필요가 없으면 한 가지를 쓰고, 선택한 모델이나 기준선만 강조한다. 막대 폭·간격·방향을 일정하게 유지해 길이 이외의 시각 신호가 값을 바꾸지 않게 한다.

Cleveland와 McGill의 그래픽 지각 연구는 공통 눈금 위 위치와 길이가 정확한 양적 판단에 유리함을 실험적으로 다뤘다. 막대그래프는 공통 기준선에서 시작하는 길이를 비교하는 도구다. 값이 서로 매우 가까워 미세 차이가 핵심이면 점 그래프와 직접 숫자 표가 더 적절할 수 있다.

0이 아닌 기준선은 길이 비율을 왜곡한다

정확도 82%와 86%의 차이는 4%포인트다. 축을 80%에서 시작하면 두 막대의 보이는 길이는 2와 6이 되어 세 배처럼 느껴진다. 막대는 길이가 수량을 부호화하므로 미국 Census 품질 기준과 영국 ONS 지침은 오해를 피하도록 0 기준을 강조한다.

0을 포함하면 차이가 너무 작아 보이는 것이 문제라면 점 그래프, 차이 막대, 숫자 표를 고려한다. 축 절단이 꼭 필요하면 명확한 절단 표시와 직접 값, “4%포인트 차이”라는 문장을 함께 둔다. %와 %포인트도 구분한다. 82%에서 86%는 4%포인트, 상대 증가는 약 4.9%다.

범주의 순서는 독자가 찾는 질문을 따른다

최고 성능 순위를 묻는다면 값을 기준으로 정렬하고, 모델 세대나 파이프라인 단계가 중요하면 자연 순서를 유지한다. 알파벳 순서는 찾기에는 편하지만 성능 패턴을 흐릴 수 있다. 정렬 기준을 캡션에 적고 같은 보고서의 여러 패널에서 순서를 함부로 바꾸지 않는다.

가로 막대는 긴 한국어 모델명과 많은 범주에 유리하다. 세로 막대는 시간처럼 자연스러운 순서가 있거나 범주 수가 적을 때 쓸 수 있다. 시간이 연속적인 추세라면 막대보다 선 그래프를 검토한다. 범주 축을 연속 수치 축처럼 보이게 연결하지 않는다.

평균 막대에는 반복과 분포가 숨어 있다

모델별 평균 정확도 한 개는 프롬프트, 데이터 분할, 시드, 과제에 따른 차이를 숨긴다. 오차막대를 붙일 때 표준편차·표준오차·신뢰구간 중 무엇인지, 반복 수가 얼마인지 적는다. 오차막대가 겹친다는 사실만으로 유의한 차이가 없다고 결론 내리지 않는다.

과제가 네 개뿐이라면 평균 막대 위에 개별 점을 겹치거나 다음 회차의 점 그래프로 바꾼다. 가중 평균을 쓰면 가중치와 분모를 공개한다. 서로 다른 평가셋 크기, 실패 요청 제외, 여러 번 시도한 최고값 선택이 있으면 막대 높이가 공정한 비교가 아니다.

묶은 막대와 쌓은 막대는 다른 질문을 낸다

두 모델을 네 과제에서 비교하려면 과제별 두 막대를 나란히 둘 수 있다. 그러나 범주가 많아지면 색과 범례를 오가느라 비교가 어려워진다. 두 값의 차이가 핵심이면 연결 점 그래프가 더 직접적이다. 쌓은 막대는 전체 구성비를 보여 주지만 가운데 조각은 공통 기준선이 없어 길이 비교가 어렵다.

정확·오류·보류가 합계 100%인 구성을 보여 줄 때는 100% 쌓은 막대를 쓸 수 있다. 전체 요청 수까지 비교하려면 일반 쌓은 막대와 합계를 함께 적는다. 서로 겹치지 않는 구성 요소만 쌓고, 정확도·지연시간처럼 단위가 다른 지표를 한 막대에 쌓지 않는다.

LLM에는 요약 전 원자료와 집계 규칙을 준다

모델별 점수만 주고 “보기 좋게” 만들라고 하면 축을 자르거나 최고 막대를 과하게 강조할 수 있다. 평가 단위별 원자료, 분모, 반복, 누락값, 가중치, 기준 모델을 제공하고 집계식을 먼저 표로 출력하게 한다. 계산이 끝난 뒤 도표 사양을 만들게 한다.

LLM에게 0 기준선, 직접 값, 정렬 기준, 오차막대 정의, 색 외 강조를 명시한다. “유의하게 우수”라는 문장은 통계 검정과 설계가 제공됐을 때만 쓰도록 제한한다. 실제 측정표가 없으면 교육용 틀만 만들고 제품 성능 수치를 발명하지 않게 한다.

서로 다른 세 사례는 막대의 단위부터 다르다

모델 정확도 막대는 0–100%의 비율, 월별 API 비용 막대는 원화, 오류 유형 빈도 막대는 건수다. 세 도표는 범주 비교라는 문법을 공유하지만 단위와 분모가 다르다. 이중 축으로 합치지 말고 별도 패널로 둔다. 비용은 사용량을 고정했는지, 빈도는 전체 요청 수가 같은지 확인한다.

모델 내부의 어텐션 값이나 뉴런 활성값을 막대로 그렸다고 해서 범용 평가 차트와 같은 의미가 되는 것은 아니다. 내부 계산값은 토큰·층·머리와 측정 정의가 필요하고, 서비스 평가는 데이터셋과 지표가 필요하다. 모양이 같은 직사각형이어도 측정 대상이 다르다.

수정 전후는 길이와 수치를 같은 이야기로 맞춘다

수정 전 그림은 80%에서 축을 시작하고 86% 막대를 82% 막대의 세 배 길이로 보이게 했다. 3D 원근, 서로 다른 폭과 강한 색을 더했고 최고값만 숫자를 붙였다. 평가셋과 오차 범위도 없었다.

수정 후에는 0 기준의 평면 막대, 같은 폭과 간격, 모든 직접 값을 사용했다. 작은 차이를 자세히 보일 필요가 있어 별도 점 그래프 패널을 추가하고 4%포인트라고 썼다. 평가셋, 반복, 신뢰구간, 정렬 기준, 실패 요청 처리도 캡션에 남겼다.

공개 전에는 분모·축·대체표현을 검사한다

집계 코드를 다시 실행해 각 막대와 원표가 일치하는지, 백분율 분모가 같은지, 반올림으로 순위가 뒤집히지 않는지 확인한다. 0 기준, 음수 처리, 오차막대 정의, 정렬 기준과 색 대비를 검토한다. 최고값 선택이 여러 시도 중 하나라면 전체 시도와 선택 규칙을 공개한다.

모바일에서는 긴 범주명을 가로 막대로 바꾸거나 줄바꿈하고, 숫자와 막대가 겹치지 않게 한다. 색 없이도 값·강조를 읽을 수 있게 테두리와 직접 라벨을 쓴다. 표 대체 텍스트와 키보드로 바뀌는 실습 결과도 확인한다.

복사해서 쓸 수 있는 LLM 요청문

아래 요청문은 교육용 예시다. 원문을 함께 제공하고, 모델이 빈칸을 추측하지 않도록 금지 조건을 넣었다. 결과를 받으면 원문 문장과 노드·선의 대응을 사람이 다시 확인한다.

다음 모델 평가 자료를 막대그래프로 정리해 줘.
1. 범주, 값, 단위, 분모, 평가셋과 집계 규칙을 먼저 표로 적는다.
2. 막대 길이가 값을 나타내므로 수량 축은 0에서 시작한다.
3. 질문에 맞는 정렬 기준과 가로·세로 방향을 밝힌다.
4. 평균이면 반복 수와 오차막대 정의를 적고 가능하면 개별 점도 보인다.
5. %와 %포인트, 정확도와 비용처럼 단위를 구분한다.
6. 3D·그림 아이콘·다른 폭으로 길이 비교를 왜곡하지 않는다.
7. 작은 차이를 확대해야 하면 점 그래프나 표를 제안한다.
8. 실제 측정값이 없으면 성능 수치를 만들지 않는다.

[평가 단위별 원자료·분모·반복] …

직접 실습하고 결과를 읽기

이 실습은 브라우저 안에 준비한 교육용 자료만 사용한다. 외부 LLM을 호출하거나 실제 기관 자료를 조회하지 않는다. 입력을 바꾸어 결과가 어떻게 달라지는지 보고, 설명과 맞지 않는 결과가 나오면 어떤 정보가 빠졌는지 적어 본다.

자료와 출처

아래 자료는 이번 글의 정의와 표기법을 확인하는 데 사용했다. 생각그림과 사례 문장은 원자료를 복제하지 않고 이 글의 교육 목적에 맞게 새로 구성했다.

• Cleveland·McGill, Graphical Perception (JASA, 1984)
• UK Office for National Statistics, Simple comparisons: Bar chart (공식 서비스 지침)
• U.S. Census Bureau, Statistical Quality Standard E2: Reporting Results