제56회 · LLM과 함께 배우는 생각그림

점 그래프는 개별 측정값과 차이를 어떻게 남길까?

평균 막대가 감춘 과제별 값과 반복의 퍼짐을 점으로 남겨, 어느 범주에서 얼마나 달라졌는지를 직접 읽습니다.

막대의 면적을 지우고 값의 위치만 남긴다

기준 모델과 새 모델을 요약·분류·검색·질의응답 과제에서 비교한다고 하자. 점 그래프는 각 과제의 공통 수치축 위에 두 점을 놓는다. 점의 위치가 값이고 두 점 사이 거리가 차이다. 넓은 막대가 없으므로 60–90%처럼 의미 있는 범위를 보여도 길이 비율을 과장하는 문제가 줄어든다.

Cleveland는 1984년 점 도표를 포함한 대안적 그래픽 방법을 제안했고, ONS 지침도 두 값의 크기와 차이를 함께 보이는 connected-dot plot을 설명한다. 하지만 축 범위를 숨기거나 점 크기로 값을 또 부호화하면 오해가 생긴다. 눈금, 직접 값, 단위와 연결선의 의미를 적는다.

생각그림 1 · 두 모델의 과제별 값과 차이도표를 좌우로 움직여 전체 내용을 확인하세요.
정확도(%)과제요약7283분류7885검색6780질의응답7482
갈색 빈 점은 기준 모델, 초록 점은 새 모델입니다. 연결선은 같은 과제에서 짝지은 두 값의 차이입니다.

Cleveland 점 그래프와 개별값 점도표를 구분한다

“dot plot”은 문맥에 따라 범주별 요약값을 공통 축에 놓는 Cleveland dot plot, 관측값을 한 축에 쌓아 분포를 보이는 Wilkinson식 점도표, 겹침을 흩뜨린 strip plot을 가리킬 수 있다. 같은 이름 아래 질문과 알고리즘이 다르므로 제목에 무엇을 한 점으로 삼았는지 쓴다.

모델별 평균 하나를 비교하면 범주형 점 그래프, 20개 프롬프트의 개별 점을 보이면 관측값 점도표다. 다음 15부의 산점도는 두 연속 변수의 관계를 x·y 두 축에 놓는다. 점이 있다는 이유만으로 모두 같은 도표라 부르지 않는다.

생각그림 2 · 점 도표 계열의 차이
형태점 하나의 뜻주요 질문
범주형 점 그래프범주의 요약값어느 범주가 큰가
연결 점 그래프짝지은 두 값차이가 어느 방향인가
개별값 점도표관측 하나분포·중복·이상값은?
산점도관측의 x,y 쌍두 연속 변수 관계는?
도표 이름보다 한 점의 단위와 축 개수를 먼저 확인합니다.

짝지은 점은 차이를 계산한 단위를 보존한다

같은 평가 문항을 두 모델이 풀었다면 문항별 결과가 짝지어진다. 과제 평균 두 점을 잇는 선은 방향을 보여 주지만 통계적 불확실성을 대신하지 않는다. 문항별 차이, 부트스트랩 신뢰구간, 반복 시드 차이를 함께 제공해야 평균 차이가 안정적인지 판단할 수 있다.

서로 다른 평가셋에서 얻은 두 점을 선으로 이으면 같은 대상의 전후 변화처럼 보인다. 자료 버전, 문항 수, 채점기, 누락 처리, 프롬프트가 같을 때만 짝지음으로 표시한다. 비교 불가능하면 점을 연결하지 않고 별도 패널이나 주석으로 분리한다.

생각그림 3 · 연결선이 허용되는 짝지음 조건
같은 문항연결 가능
같은 시드·설정연결 가능
다른 평가셋연결 금지
다른 채점기별도 비교 필요
누락 문항공통 분모 재확인
선은 장식이 아니라 두 값이 같은 단위에서 직접 비교된다는 주장입니다.

개별 점은 평균이 숨긴 퍼짐과 이상값을 보여 준다

모델 A와 B의 평균이 모두 82%여도 A는 모든 시드가 80–84%에 모이고 B는 68–94%로 흔들릴 수 있다. 평균 막대만으로는 안정성을 알 수 없다. 시드나 과제별 점을 모두 놓고 중앙값·평균 표식을 구분하며 표본 수를 적는다.

값이 겹치면 투명도, 작은 수평 흔들기, 중복 개수 표시를 사용한다. 흔들기는 데이터 값이 아니라 겹침을 피하기 위한 위치 조정이므로 범례에 적는다. 점이 수천 개면 밀도·히스토그램·바이올린 그림처럼 다음 부의 분포 도표를 검토하고 무작위 일부만 보여 줄 때 표본 추출 규칙을 공개한다.

생각그림 4 · 같은 평균과 다른 분포
모델개별 값(교육용)평균읽기
A80, 81, 82, 83, 8482좁게 모임
B68, 77, 82, 89, 9482넓게 퍼짐
질문평균은 같은가예안정성은 다른가
개별 점을 남기면 같은 평균 뒤에 있는 변동성과 이상값을 볼 수 있습니다.

점의 크기와 색은 최소한으로 쓴다

점이 너무 크면 가까운 값이 겹치고 차이가 사라진다. 크기는 클릭 가능성과 겹침 사이에서 고르며 모든 값에 같게 쓴다. 표본 수를 점 크기로 추가 부호화하려면 면적 기준과 범례가 필요하지만, 범주 비교가 목적이라면 숫자 라벨로 분리하는 편이 정확하다.

두 계열은 색과 함께 빈 점·채운 점, 모양, 직접 라벨로 구분한다. 빨강과 초록만으로 승패를 표시하지 않는다. 연결선은 점보다 연하게 두어 값의 위치가 우선 보이게 한다. 중요한 임계값은 세로 기준선과 라벨로 표시하고, 점을 임계값 선 위에 가리지 않는다.

생각그림 5 · 점·선·라벨의 시각 우선순위
1순위점의 공통축 위치
2순위직접 값·계열 라벨
3순위짝 차이 연결선
보조업무 임계값
피하기크기·색·모양 과잉
정보를 더 넣는 것보다 어떤 값을 먼저 읽게 할지 결정하는 것이 중요합니다.

LLM에는 한 점의 단위와 짝 ID를 제공한다

모델에게 평균표만 주면 개별 점을 복원할 수 없다. 행마다 과제·문항·시드 같은 관측 ID, 계열, 값, 단위, 짝 ID, 누락 사유를 제공한다. 동일 ID의 두 값만 연결하고, 중복 ID와 서로 다른 분모를 먼저 검사하게 한다.

범주 정렬은 기준값, 새 값, 차이, 고정 순서 중 하나를 명시한다. 값 라벨과 축 범위를 계산한 뒤 모바일 줄바꿈을 점검하게 한다. 제공하지 않은 반복값이나 신뢰구간을 만들지 말고, 요약값만 있으면 요약 점 그래프라고 표시한다.

생각그림 6 · 점 그래프 제작의 검산 순서
관측 ID 확인
짝 ID·분모 검사
점 위치 계산
정렬·라벨 고정
원표와 차이 대조
한 점이 어느 행에서 왔는지 되돌아갈 수 있어야 합니다.

모델 비교·전후 비교·반복 분포는 다른 그림을 낸다

네 과제에서 두 모델을 비교할 때는 연결 점 그래프가 좋다. 하나의 모델을 개선 전후로 비교할 때도 같은 평가셋이면 두 점을 연결할 수 있다. 한 모델의 20개 시드를 보고 싶다면 연결선 없이 개별 점을 놓고 중앙값을 덧댄다. 목적에 따라 점의 단위와 연결 여부가 달라진다.

지연시간과 정확도처럼 두 연속 지표의 trade-off를 보려면 다음 부의 산점도를 쓴다. 범주 이름이 y축에 있고 값이 x축 하나에 있다면 범주형 점 그래프다. 점 그래프로 모든 통계 질문을 해결하려 하지 않고 분포·관계·불확실성 도표와 연결한다.

생각그림 7 · 질문에서 점 그래프 형태 선택
질문권장 형태연결선
두 모델 과제별 차이연결 점같은 과제끼리
개선 전후짝 점같은 문항·버전
시드별 변동개별 점+요약없음
비용–정확도 관계산점도보통 없음
한 점의 단위와 선의 의미가 정해지면 형태 선택이 쉬워집니다.

수정 전후는 평균과 관측을 분리하는 데서 갈린다

수정 전 그림은 평균 두 점을 20번 측정한 것처럼 복제하고 모든 범주를 선으로 이어 시간 추세처럼 보이게 했다. 서로 다른 평가셋의 점도 연결했고 색만으로 모델을 구분했다. 축 범위와 직접 값이 없어 차이의 크기도 읽기 어려웠다.

수정 후에는 실제 관측 행만 점으로 그리고 평균은 마름모로 구분했다. 같은 짝 ID만 연한 선으로 연결하고 다른 평가셋은 패널을 나눴다. 빈 점·채운 점·직접 라벨을 함께 사용하고 축과 %포인트 차이를 명시했다.

생각그림 8 · 꾸며낸 반복을 재현 가능한 점으로 고친다
수정 전평균을 개별점처럼 복제
수정 전비교 불가능한 점 연결
수정 후실제 관측·요약 표식 분리
수정 후짝 ID와 직접 값 공개
점이 많아 보이는 것보다 각 점이 실제 관측 하나를 대표하는지가 중요합니다.

공개 전에는 점 수·짝·겹침을 검사한다

그래프의 점 수가 원자료 행 수와 같은지, 필터로 빠진 행이 몇 개인지 확인한다. 연결선마다 두 끝의 짝 ID가 같은지, 차이 라벨이 뺄셈 결과와 맞는지 독립 계산한다. 평균·중앙값·신뢰구간의 계산 단위가 문항인지 시드인지 명시한다.

모바일에서는 긴 범주명이 잘리지 않고 점·값·연결선이 겹치지 않는지 본다. 내부 가로 이동이 필요하면 키보드 초점과 안내를 제공한다. 색을 끄고도 계열을 구분할 수 있는지, 화면낭독기가 범주·두 값·차이를 읽을 수 있는 표 대체가 있는지 확인한다.

생각그림 9 · 점 그래프 공개 전 검사표
검사통과 기준미통과 행동
점 수원자료 행·필터와 일치누락 추적
짝같은 관측 단위만 연결선 제거
요약계산 단위·표식 구분범례 보완
겹침값·점·선 읽힘흔들기·패널 분리
접근성모양·값·대체표라벨 추가
점 하나에서 원자료 행으로, 연결선에서 짝 ID로 돌아갈 수 있어야 검수가 끝납니다.

복사해서 쓸 수 있는 LLM 요청문

아래 요청문은 교육용 예시다. 원문을 함께 제공하고, 모델이 빈칸을 추측하지 않도록 금지 조건을 넣었다. 결과를 받으면 원문 문장과 노드·선의 대응을 사람이 다시 확인한다.

다음 비교 자료를 점 그래프로 정리해 줘.
1. 한 점이 과제·문항·시드·요약값 중 무엇인지 적는다.
2. 관측 ID, 계열, 값, 단위, 짝 ID와 누락 사유를 검사한다.
3. 같은 단위에서 직접 비교한 값만 연결한다.
4. 실제 개별값과 평균·중앙값 표식을 구분한다.
5. 겹치는 점의 투명도·흔들기 규칙과 표본 수를 공개한다.
6. 축 범위, 직접 값, %와 %포인트를 표시한다.
7. 막대그래프·개별값 점도표·산점도의 질문 차이를 설명한다.
8. 원자료에 없는 점이나 신뢰구간을 만들지 않는다.

[관측 ID·짝 ID·계열·값] …
생각그림 10 · 요청문에서 결과와 검토까지
원문 붙이기
도표 목적 명시
추정 금지
문장별 대조
요청문은 도표를 자동으로 진실로 만들지 않습니다. 원문과 결과를 왕복해 확인하는 절차가 핵심입니다.

직접 실습하고 결과를 읽기

이 실습은 브라우저 안에 준비한 교육용 자료만 사용한다. 외부 LLM을 호출하거나 실제 기관 자료를 조회하지 않는다. 입력을 바꾸어 결과가 어떻게 달라지는지 보고, 설명과 맞지 않는 결과가 나오면 어떤 정보가 빠졌는지 적어 본다.

같은 과제의 기준·새 모델 점을 골라 차이를 읽으세요.

자료와 출처

아래 자료는 이번 글의 정의와 표기법을 확인하는 데 사용했다. 생각그림과 사례 문장은 원자료를 복제하지 않고 이 글의 교육 목적에 맞게 새로 구성했다.