평가 히트맵은 많은 점수에서 약점의 위치를 어떻게 찾을까?

모델 세 개와 과제 네 개의 점수를 한 화면에 놓는다

검색 근거 찾기, 긴 글 요약, 규칙 준수, 안전 거절을 같은 평가 묶음으로 돌렸다고 하자. 표에는 모델 세 개가 행, 과제 네 개가 열, 0–100점이 셀에 들어간다. 히트맵은 이 수치 행렬을 색으로 바꾸어 어느 행이나 열이 고르게 높고 낮은지 빨리 찾게 한다. 셀 하나는 모델의 성격이 아니라 특정 자료·채점 규칙·시점에서 나온 집계값이다.

색은 숫자의 대체물이 아니라 탐색을 돕는 보조 부호다. 정확한 비교가 필요하면 셀 안 원수치를 읽고, 표본 수와 오차 범위를 별도 표에서 확인한다. 행 평균이 높은 모델도 규칙 준수 열에서 낮을 수 있으며, 한 열의 최고 모델이 다른 열에서도 최고라는 보장은 없다. 먼저 전체 무늬를 보고 다음에 문제 셀의 원자료로 내려간다.

행·열·셀·색 범례를 순서대로 읽는다

행은 비교 대상, 열은 평가 조건, 셀은 두 조건이 만난 값이다. 축을 바꾸면 같은 값도 질문이 달라진다. 모델별 균형을 보려면 행을 가로질러 읽고, 특정 과제의 순위를 보려면 열을 세로로 읽는다. 색 범례의 최솟값과 최댓값, 중간색의 뜻을 확인한 뒤 셀 수치를 읽는다. 결측값은 0점과 다른 표식으로 남긴다.

seaborn의 공식 heatmap 문서는 2차원 자료를 색이 입혀진 셀로 그리고, vmin·vmax·center·annot 같은 선택으로 색 범위와 값 주석을 제어한다고 설명한다. 비교용 히트맵에서는 패널마다 자동 범위를 쓰지 않고 공통 범위를 정한다. 72–95점만 있는 표를 70–100으로 확대할 수 있지만, 확대 사실과 전체 척도를 함께 밝혀 작은 차이가 큰 격차처럼 보이지 않게 한다.

점수 방향과 단위를 섞으면 색의 의미가 뒤집힌다

정확도·통과율은 높을수록 좋지만 오류율·환각률·지연 시간은 낮을수록 좋다. 이를 그대로 한 색 범례에 놓으면 진한 칸이 어떤 열에서는 좋고 다른 열에서는 나빠진다. 원척도를 유지하려면 열마다 방향을 명시하거나 색을 분리한다. 종합 비교가 필요하면 모든 지표를 같은 “높을수록 좋음” 방향으로 변환하고 변환식과 원수치를 함께 제공한다.

백분율, 점수, 밀리초, 비용을 0–1로 정규화해 한 그림에 넣을 때는 기준점이 필요하다. 관측된 최솟값과 최댓값으로 매번 정규화하면 새 모델이 들어올 때 기존 색이 바뀐다. 업무 목표나 고정 기준을 사용하고 범위를 벗어난 값 처리도 정한다. 서로 다른 단위를 평균낸 종합점수는 가중치 선택에 따라 순위가 달라지므로 원 지표를 숨기지 않는다.

공통 색 범위가 아니면 패널 사이 차이를 비교할 수 없다

두 주의 결과를 좌우 패널로 그리면서 첫 패널은 60–95, 둘째는 80–90을 자동 범위로 쓰면 같은 색 농도가 다른 점수를 나타낸다. 둘째 패널의 82와 89가 극단처럼 보이지만 실제 범위는 좁다. 모든 패널에 0–100 같은 공통 범위를 적용하거나, 확대 패널에는 별도의 범례와 “확대” 라벨을 붙인다.

연속 점수는 연속 팔레트를 쓰고, 기준보다 위·아래를 강조할 때는 가운데가 명시된 발산 팔레트를 쓴다. 무지개색은 밝기 순서가 불규칙해 수치 순서를 오독하기 쉽다. 색각 차이와 흑백 인쇄를 고려해 셀 숫자, 무늬, 직접 라벨을 함께 둔다. 빨강과 초록만으로 통과·실패를 구분하지 않는다.

평균 셀 하나 아래의 표본 수와 분산을 확인한다

모델 A의 안전 점수 88이 20개 문항 평균이고 모델 B의 86이 2천 개 문항 평균이라면 색만으로 안정성을 비교하기 어렵다. 셀에 n을 함께 쓰거나 별도 표를 제공하고 부트스트랩 신뢰구간, 반복 실행 분산, 채점자 일치도를 확인한다. 2점 차이가 측정 변동보다 작은지 보고 “우세”라는 문장을 조절한다.

전체 평균은 하위집단을 숨길 수 있다. 쉬운 문항 비율이 다른 두 평가 세트를 섞으면 모델 차이처럼 보인다. 언어, 문서 길이, 위험 수준 같은 층별 히트맵을 만들되 동일 문항과 동일 채점 기준을 유지한다. 여러 번 비교할수록 우연한 극단 셀이 생기므로 사전 정의한 핵심 지표와 탐색 지표를 구분한다.

세 사례는 같은 행렬 모양이어도 질문이 다르다

첫째 모델×과제 히트맵은 일반화 약점을 찾는다. 둘째 프롬프트 유형×오류 유형 히트맵은 어느 요청에서 어떤 오류가 집중되는지 본다. 셋째 언어×안전 범주 히트맵은 하위집단 점검에 쓴다. 모델 내부 어텐션 히트맵과 겉모양은 같아도 대상이 다르다. 평가 히트맵은 외부 시험 결과이고 어텐션은 특정 계산의 가중치다.

평가 점수의 어두운 셀을 모델 내부 원인으로 바로 연결할 수 없다. 프롬프트, 검색 자료, 후처리, 판정자, 샘플링이 모두 결과에 관여한다. 운영 시스템의 병목을 찾는 히트맵이라면 행과 열을 서비스 단계·시간대로 정의하고, 모델 구조 분석과 분리한다. 그림 제목에 측정 대상과 집계 단위를 적어 층위를 고정한다.

LLM에는 완성 그림보다 검산 가능한 셀 표를 먼저 요구한다

모델에게 행 이름, 열 정의, 원자료 ID, 점수식, 방향, 단위, 결측 규칙, 표본 수를 제공한다. 먼저 셀별 분자·분모·점수 표를 만들고 합계와 범위를 검산하게 한다. 다음으로 공통 vmin·vmax, 팔레트, 숫자 주석, 결측 무늬를 제안하게 한다. 자료가 없으면 자연스러운 숫자를 채우지 말고 빈 설계표만 내도록 한다.

결과 설명은 “가장 진한 칸”이 아니라 행·열 비교, 안정적인 패턴, 불확실한 셀, 추가 확인 순서로 제한한다. 종합 순위를 요청할 때는 가중치를 사용자가 제공하고 가중치 변화에 따른 순위 민감도를 함께 계산한다. LLM이 만든 요약은 원자료에서 독립 재계산하며 실제 평가 실행 결과처럼 꾸미지 않는다.

잘못된 그림은 순위에 맞춰 범위와 정렬을 바꾼다

수정 전 도표는 모델마다 다른 최솟값·최댓값을 썼고 셀 숫자와 범례가 없었다. 0점과 미측정을 같은 흰색으로 두고, 비용처럼 낮을수록 좋은 열도 진할수록 좋다고 설명했다. 행을 종합점수 순으로 정렬했지만 가중치는 공개하지 않았다. 작은 표본의 극단값에 “최고 모델” 배지를 붙였다.

수정 후에는 공통 범위와 원수치를 표시하고 미측정을 빗금과 NA로 분리했다. 지표 방향을 제목에 적고 비용 열은 별도 패널로 옮겼다. 고정된 과제 순서와 표본 수를 유지하고 종합점수 가중치·민감도 표를 함께 공개했다. 결론은 “후보 약점”과 “추가 검증 필요” 수준으로 낮췄다.

실습은 한 열을 바꿔도 공통 범위를 유지한다

아래 실습은 준비된 세 모델×네 과제 점수에서 한 모델 행을 선택해 최저·최고 과제와 평균을 계산한다. 실제 모델의 측정값이 아니라 읽기 연습용 자료다. 색 순위와 숫자 순위가 일치하는지, 행 평균이 가장 높아도 특정 열에서 낮은 경우가 있는지 확인한다.

공개 전에는 셀 수가 원 집계표와 같고 모든 점수가 허용 범위 안인지 검사한다. 360·390·430px에서 축 이름, 셀 숫자, 범례가 잘리지 않는지 보고 상세 행렬은 키보드 초점이 가능한 가로 이동 영역에 둔다. 화면낭독기용 표에는 행·열·점수·n·결측 상태를 제공한다.

복사해서 쓸 수 있는 LLM 요청문

아래 요청문은 교육용 예시다. 원문을 함께 제공하고, 모델이 빈칸을 추측하지 않도록 금지 조건을 넣었다. 결과를 받으면 원문 문장과 노드·선의 대응을 사람이 다시 확인한다.

다음 평가 원자료로 검산 가능한 히트맵 사양을 작성해 줘.
1. 행·열의 대상, 셀 집계식, 단위와 높고 낮음의 방향을 표로 정리한다.
2. 셀마다 분자·분모·점수·표본 수·결측 상태를 계산한다.
3. 모든 패널에 같은 vmin·vmax를 사용하고 확대하면 명시한다.
4. 셀 숫자와 색 범례를 제공하고 NA를 0과 구분한다.
5. 표본 수와 불확실성을 함께 제시하고 작은 차이를 과장하지 않는다.
6. 종합점수는 가중치와 민감도를 공개한다.
7. 색만으로 순위를 전달하지 말고 접근 가능한 원자료 표를 만든다.
8. 실제 값이 없으면 점수를 만들지 말고 빈 사양만 준다.

[평가 원자료] …

직접 실습하고 결과를 읽기

이 실습은 브라우저 안에 준비한 교육용 자료만 사용한다. 외부 LLM을 호출하거나 실제 기관 자료를 조회하지 않는다. 입력을 바꾸어 결과가 어떻게 달라지는지 보고, 설명과 맞지 않는 결과가 나오면 어떤 정보가 빠졌는지 적어 본다.

자료와 출처

아래 자료는 이번 글의 정의와 표기법을 확인하는 데 사용했다. 생각그림과 사례 문장은 원자료를 복제하지 않고 이 글의 교육 목적에 맞게 새로 구성했다.

• seaborn 0.13.2, heatmap 공식 문서