산점도는 두 연속 변수의 관계와 예외를 어떻게 드러낼까?

입력 토큰 수와 응답 시간을 같은 요청 단위로 짝짓는다

LLM 요청 80건에서 입력 토큰 수와 응답 시간을 측정했다고 하자. 산점도의 점 하나는 같은 요청의 x·y 두 값이다. 가로축에 토큰 수, 세로축에 밀리초를 놓고 관측ID로 짝을 확인한다. 한쪽 값이 빠진 행을 임의로 다른 요청과 합치지 않는다. 축 제목에는 변수명과 단위, 측정 기간을 적는다.

NIST 전자 핸드북은 산점도가 두 변수 사이의 관계 또는 연관을 살피는 도구라고 설명한다. 점 구름의 방향, 직선·곡선 형태, 퍼짐, 군집, 바깥점을 관찰한다. 연결선은 시간 순서나 짝 이동처럼 명확한 의미가 있을 때만 쓴다. 일반 산점도에서 임의로 점을 이으면 존재하지 않는 순서를 만든다.

방향·형태·강도·예외를 차례로 읽는다

x가 커질수록 y도 커지는지 또는 작아지는지가 방향이다. 점이 직선 주변에 모이는지, 곡선이나 구간별 변화가 있는지가 형태다. 같은 형태 주변의 퍼짐이 작을수록 관계가 강해 보인다. 마지막으로 전체 패턴과 동떨어진 점, x 범위에 따라 y의 퍼짐이 달라지는 이분산을 확인한다.

상관계수 하나는 주로 선형 연관의 방향과 강도를 요약한다. 곡선 관계는 강해도 Pearson 상관이 낮을 수 있고, 한 바깥점이 상관을 크게 만들 수 있다. 계수를 먼저 제목에 쓰기보다 점을 보고 적합한 요약과 변환, 잔차 검사를 선택한다. 관계가 없는 영역과 자료가 없는 영역도 구분한다.

앤스컴의 네 자료는 같은 요약 통계와 다른 그림을 갖는다

Anscombe는 1973년 평균, 분산, 상관, 선형 회귀식이 거의 같은 네 자료를 제시했다. 첫째는 대체로 선형, 둘째는 뚜렷한 곡선, 셋째는 한 y 바깥점의 영향, 넷째는 대부분 같은 x와 한 영향점으로 구성된다. 수치 요약만으로 서로 다른 구조를 구별할 수 없음을 보여 준다.

NIST의 EDA 예제도 네 집합을 산점도로 먼저 보면 차이가 즉시 드러난다고 설명한다. 이 예를 “그래프가 통계보다 우월하다”로 단순화하지 않는다. 그래프와 수치 검산이 서로 보완한다. 실제 분석에서는 원자료, 산점도, 적합 모형, 잔차와 영향 진단을 함께 본다.

상관관계는 인과관계를 증명하지 않는다

토큰 수와 응답 시간이 함께 늘어도 토큰 수만이 원인이라고 결론낼 수 없다. 모델 버전, 서버 부하, 출력 토큰 수, 캐시, 지역이 둘 모두와 관련될 수 있다. 반대로 인과 효과가 있어도 좁은 x 범위나 큰 측정 잡음 때문에 산점도에서 약하게 보일 수 있다. 관찰 자료의 점 구름은 설계와 배경 지식 없이 원인을 확정하지 못한다.

원인 질문에는 무작위화, 자연실험, 시간 순서, 개입, 혼란변수 통제와 같은 추가 근거가 필요하다. 제목과 캡션은 “관련됨”, “함께 변함”처럼 측정 수준에 맞게 쓴다. 회귀선을 인과 경로로 부르거나 R²를 원인이 설명한 비율로 번역하지 않는다.

겹치는 점은 투명도·흔들기·집계로 드러낸다

정수 점수나 같은 토큰 수가 반복되면 여러 관측이 한 점처럼 겹친다. 완전히 불투명한 점은 표본 수를 숨긴다. 작은 투명도, 중복 개수 라벨, 육각형 구간 집계, 2차원 히스토그램을 사용할 수 있다. 흔들기는 겹침을 피하기 위한 작은 위치 이동이며 실제 측정 오차처럼 보이지 않게 규칙을 적는다.

점이 수십 개면 개별 관측을 유지하고, 수만 개면 밀도 집계와 대표 표본을 함께 고려한다. 무작위 표본만 보이면 전체에서 어떤 비율을 어떤 시드로 뽑았는지 기록한다. 축 변환이나 로그 눈금은 꼬리가 긴 자료를 펼칠 수 있지만 0·음수 처리와 변환된 단위를 명시한다.

세 번째 변수와 집단은 색·모양·패널로 분리한다

같은 토큰 수에서도 모델 A와 B의 응답 시간이 다를 수 있다. 색으로 그룹을 나누되 직접 라벨이나 점 모양을 함께 쓴다. 범주가 많으면 색을 늘리기보다 작은 패널로 분리한다. 점 크기로 출력 토큰 수를 추가하면 면적 부호화와 범례가 필요하며 x·y 관계를 가릴 수 있다.

전체에서는 양의 관계인데 그룹 안에서는 약하거나 반대일 수 있다. 집단 구성 차이로 전체 관계가 바뀌는 심슨의 역설 가능성을 확인한다. 그룹별 n, 범위와 회귀선을 따로 보고, 전체선 하나가 모든 집단의 작동을 대표한다고 쓰지 않는다. 제3변수는 장식이 아니라 분석 설계의 일부다.

LLM에는 관측ID와 결측·필터 규칙을 준다

모델에게 관측ID, x, y, 각 단위, 그룹, 측정 시간, 누락 사유를 제공한다. x·y가 같은 행에서 짝지어졌는지 중복 ID와 결측을 검사하게 한다. 선형·곡선 적합을 모두 시도하기 전에 산점도의 방향·형태·퍼짐·바깥점을 기술하고 분석 목적에 맞는 후보 모형과 잔차 검사를 제안하게 한다.

상관계수, 회귀식, R²는 원자료에서 다시 계산하고 사용한 필터와 표본 수를 적게 한다. 인과 언어를 금지하고 제3변수와 선택 과정을 확인할 질문을 요구한다. 실제 값이 없으면 점 위치나 계수를 발명하지 말고 빈 사양과 검수표만 작성하게 한다.

잘못된 그림은 축·점·회귀선을 과장한다

수정 전 그림은 x와 y 축을 잘라 약한 차이를 가파른 관계처럼 보이게 했고 겹친 60개 관측을 12점처럼 표시했다. 한 영향점을 삭제한 뒤 이유를 남기지 않았으며 회귀선을 “토큰 증가가 지연을 유발한다”라고 설명했다. 모델 버전이 색으로 섞였지만 범례도 없었다.

수정 후 전체 자료 범위와 단위를 표시하고 투명도·중복 수로 관측량을 보존했다. 영향점은 ID와 함께 남기고 포함·제외 민감도를 모두 제시했다. 그룹별 점 모양과 선을 나눴으며 문장을 “이 측정 범위에서 양의 선형 연관이 관찰됐다”로 낮췄다. 원인 검증은 별도 부하 실험으로 분리했다.

실습에서는 같은 통계와 다른 패턴을 전환한다

아래 실습은 앤스컴 네 집합의 알려진 교육용 구성을 사용한다. 네 집합은 평균과 선형 요약이 거의 같지만 점 모양이 다르다. 집합을 바꾸어 선형·곡선·영향점·x 집중을 확인한다. 이 수치는 실제 LLM 서비스 측정이 아니며 통계와 그래프를 함께 읽기 위한 교육 자료다.

실제 업무에서 상관계수 하나가 높다고 바로 직선 회귀를 채택하지 않는다. 점 모양과 잔차, 영향도, 그룹별 패턴을 확인한다. 자료 범위를 벗어난 외삽은 별도 검증 없이 하지 않으며, 모델을 배포한 뒤에는 새로운 범위의 점이 같은 관계를 유지하는지 다시 측정한다.

공개 전에는 쌍·계산·화면을 각각 검사한다

점 수가 x·y 완전쌍 행 수와 같은지, 중복·필터·결측 처리와 영향점 ID가 기록됐는지 확인한다. 상관·회귀·R²를 독립 계산하고 포함·제외 민감도를 대조한다. 축 변환, 그룹, 추출, 투명도와 겹침 처리도 재현 가능하게 남긴다. 관찰과 인과 문장을 분리한다.

모바일 360·390·430px에서는 점, 축 눈금, 범례, 직접 라벨과 회귀선이 겹치지 않는지 본다. 상세 SVG는 키보드 초점 가능한 내부 가로 이동을 제공한다. 화면낭독기를 위한 x·y·그룹 원자료 표와 패턴 요약을 제공하고 색 없이도 집단을 구분한다.

복사해서 쓸 수 있는 LLM 요청문

아래 요청문은 교육용 예시다. 원문을 함께 제공하고, 모델이 빈칸을 추측하지 않도록 금지 조건을 넣었다. 결과를 받으면 원문 문장과 노드·선의 대응을 사람이 다시 확인한다.

다음 두 연속 변수로 산점도를 설계해 줘.
1. 관측ID, x, y, 단위, 그룹, 측정 시점과 결측·필터 사유를 확인한다.
2. 점 수가 x·y 완전쌍 행 수와 같은지 검산한다.
3. 방향·형태·강도·퍼짐·군집·바깥점을 먼저 기술한다.
4. 겹치는 점에는 투명도·중복 수·집계를 사용하고 규칙을 적는다.
5. 상관·회귀·R²는 사용한 표본과 함께 재계산하고 잔차·영향도를 확인한다.
6. 그룹별 패턴과 전체 패턴을 따로 비교한다.
7. 연관을 인과로 단정하지 말고 제3변수와 실험 설계를 질문한다.
8. 실제 값이 없으면 점·회귀선·계수를 만들지 말고 빈 사양만 준다.

[관측ID별 x·y·그룹 표] …

직접 실습하고 결과를 읽기

이 실습은 브라우저 안에 준비한 교육용 자료만 사용한다. 외부 LLM을 호출하거나 실제 기관 자료를 조회하지 않는다. 입력을 바꾸어 결과가 어떻게 달라지는지 보고, 설명과 맞지 않는 결과가 나오면 어떤 정보가 빠졌는지 적어 본다.

자료와 출처

아래 자료는 이번 글의 정의와 표기법을 확인하는 데 사용했다. 생각그림과 사례 문장은 원자료를 복제하지 않고 이 글의 교육 목적에 맞게 새로 구성했다.

• NIST/SEMATECH, Exploratory Data Analysis — Scatter Plot (공식 전자 핸드북)
• F. J. Anscombe, Graphs in Statistical Analysis, The American Statistician 27(1), 1973
• NIST/SEMATECH, An EDA/Graphics Example — Anscombe data