스케일링 곡선은 모델·자료·연산량이 커질 때 무엇을 보여 줄까?

더 큰 모델이 아니라 무엇을 얼마나 늘렸는지 묻는다

세 크기의 언어 모델을 훈련해 검증 손실을 비교한다고 하자. 매개변수만 늘리고 토큰 수와 계산량을 고정한 실험, 계산 예산 안에서 모델과 자료를 함께 배분한 실험은 서로 다른 질문이다. 스케일링 곡선은 모델 크기 N, 데이터 토큰 D, 훈련 계산량 C 가운데 무엇을 가로축에 놓고 무엇을 통제했는지부터 적는다.

Kaplan 외의 2020년 연구는 여러 규모에서 교차엔트로피 손실이 N·D·C와 경험적 거듭제곱 관계를 보였다고 보고했다. 이는 관측한 모델 계열·자료·훈련 설정의 적합 결과다. 자연 법칙처럼 모든 모델과 모든 과제에 그대로 적용하거나 정확도·사실성·안전성이 같은 비율로 좋아진다고 번역하지 않는다.

로그 눈금에서는 기울기가 비율 변화를 나타낸다

거듭제곱 관계 L=A·C^−α+B를 로그로 옮기면 reducible loss 구간에서 직선에 가까워질 수 있다. 가로축이 열 배 커질 때 세로축이 어떤 비율로 줄어드는지를 기울기로 읽는다. 원 눈금에서의 절대 감소량과 로그 눈금에서의 비율 감소를 섞지 않는다.

축 눈금에는 10², 10³처럼 밑과 단위를 쓰고, 0이나 음수는 로그 축에 직접 놓을 수 없음을 확인한다. 바닥항 B가 있으면 손실 전체의 로그가 완전한 직선이 아닐 수 있다. 적합식, 추정한 지수, 잔차, 신뢰 구간, 사용한 점 범위를 함께 제공한다.

계산 예산 최적화는 모델과 자료의 배분 문제다

Hoffmann 외의 2022년 연구는 고정한 계산 예산에서 모델 크기와 훈련 토큰 수의 배분을 다시 분석했다. 70M에서 16B 매개변수, 5B에서 500B 토큰 범위의 400개 이상 모델을 훈련했고, 해당 설정에서 모델 크기와 토큰 수를 함께 늘리는 계산 최적 배분을 보고했다.

이 결과는 “항상 작은 모델이 낫다” 또는 “토큰 수는 매개변수의 정확히 일정 배여야 한다”라는 단일 규칙이 아니다. 데이터 품질, 반복 토큰, 최적화기, 모델 구조, 하드웨어, 목표 손실과 추론 비용이 달라지면 최적점도 바뀐다. 논문 수치를 새 시스템에 적용할 때는 같은 조건인지 확인하고 작은 파일럿으로 다시 맞춘다.

손실 감소와 실제 과제 성능을 따로 그린다

사전학습 교차엔트로피 손실이 매끄럽게 줄어도 특정 벤치마크 정확도는 계단처럼 변하거나 포화될 수 있다. 생성 안전성, 사실 검증, 긴 문맥, 한국어 세부 과제는 같은 곡선을 따른다고 가정할 수 없다. 손실 곡선과 다운스트림 과제 곡선을 별도 패널로 두고 평가 자료와 점수 정의를 적는다.

벤치마크가 반복적으로 개발에 사용됐다면 시험 오염과 선택 편향도 점검한다. 모델 크기가 커질수록 프롬프트 방식이나 디코딩 설정을 바꿨다면 순수한 규모 효과가 아니다. 같은 평가 코드, 같은 샷 수, 같은 온도, 같은 샘플 수를 유지하고 달라진 조건을 표로 분리한다.

LLM에는 측정점과 적합 규칙을 분리해 맡긴다

모델에게 논문 제목만 주고 새 규모의 성능을 예측하게 하면 출처 없는 수치를 만들 수 있다. 실험별 N·D·C, 손실, 반복, 데이터·코드 버전을 표로 제공하고 로그 변환과 회귀식을 명시한다. 관측점, 적합선, 예측점은 모양과 표에서 구분한다.

LLM은 단위 변환, 누락값 검사, 잔차표 작성, 문장 초안을 도울 수 있다. 그러나 적합식을 고르는 일, 분포 밖 외삽이 허용되는지, 예산을 집행할지는 사람이 결정한다. 제공하지 않은 규모의 값을 채우지 말고 계산식이 있을 때만 “모형 기반 예상”으로 표시하게 한다.

세 사례를 같은 축에 겹치면 비교가 무너질 수 있다

모델 매개변수 대비 손실, 훈련 토큰 대비 손실, 총 FLOPs 대비 손실은 모두 스케일링 곡선이지만 가로축 단위가 다르다. 하나의 패널에 겹칠 때는 차원을 맞추거나 별도 패널을 쓴다. GPU 시간은 장비 효율에 따라 달라지므로 알고리즘 계산량과 벽시계 시간을 구분한다.

API 제품의 월별 사용자 수와 응답 품질 관계를 스케일링 법칙이라 부르는 것도 부정확하다. 이용자가 늘며 캐시·혼잡·사용자 구성이 함께 변하기 때문이다. 범용 통계 상관선과 훈련 실험의 제어된 스케일링 곡선을 분리해 이름 붙인다.

수정 전후는 외삽 경계와 잔차를 공개하는 데서 갈린다

수정 전 그림은 네 점을 직선으로 잇고 “10배 키우면 성능이 2배”라고 썼다. 로그 축 표시, 손실 단위, 바닥항, 반복 오차, 관측 범위가 없었고 가장 먼 예측점을 실제 측정과 같은 원으로 그렸다. 정확도와 손실의 방향도 섞였다.

수정 후에는 관측점과 외삽점을 실선·점선으로 나누고 축의 밑과 단위를 적었다. 적합식·지수·잔차·신뢰 구간, 데이터와 체크포인트 범위를 표로 제공했다. “개선이 이어진다” 대신 “같은 실험군과 적합 가정 아래의 예측”이라고 범위를 제한했다.

공개 전에는 차원·계산·문장을 왕복 검산한다

N·D·C의 단위와 계산식을 다시 확인하고 같은 실행이 중복 집계되지 않았는지 본다. 로그 변환 전후 값을 역변환해 원표와 맞는지, 적합에 쓰지 않은 홀드아웃 규모에서 예측 오차가 어느 정도인지 계산한다. 실패한 큰 실행을 빼면 선택 편향이 생기므로 이유를 기록한다.

모바일에서는 로그 눈금, 지수, 관측·외삽 범례가 잘리지 않는지 확인한다. 키보드 실습에서 예산을 바꾸면 결과와 “교육용 적합식” 표시가 함께 갱신되어야 한다. 마지막으로 논문의 특정 경험적 결과를 모든 LLM의 필연 법칙이나 실제 내부 사고로 바꾸지 않았는지 검토한다.

복사해서 쓸 수 있는 LLM 요청문

아래 요청문은 교육용 예시다. 원문을 함께 제공하고, 모델이 빈칸을 추측하지 않도록 금지 조건을 넣었다. 결과를 받으면 원문 문장과 노드·선의 대응을 사람이 다시 확인한다.

다음 규모별 실험표를 스케일링 곡선으로 정리해 줘.
1. 가로축이 매개변수 N, 토큰 D, 훈련 계산량 C 중 무엇인지 단위와 함께 적는다.
2. 고정한 조건과 함께 변한 조건을 구분한다.
3. 관측점, 적합선, 외삽점을 서로 다른 표식으로 그린다.
4. 로그 밑, 적합식, 지수, 바닥항, 잔차와 불확실성을 공개한다.
5. 사전학습 손실·과제 점수·운영 지표를 한 곡선으로 섞지 않는다.
6. 계산 최적 훈련과 추론 비용 최적을 구분한다.
7. 자료가 없는 규모의 값을 임의로 만들지 않는다.
8. 예측에는 실험 범위와 재검증 계획을 붙인다.

[규모·토큰·계산량·손실·반복표] …

직접 실습하고 결과를 읽기

이 실습은 브라우저 안에 준비한 교육용 자료만 사용한다. 외부 LLM을 호출하거나 실제 기관 자료를 조회하지 않는다. 입력을 바꾸어 결과가 어떻게 달라지는지 보고, 설명과 맞지 않는 결과가 나오면 어떤 정보가 빠졌는지 적어 본다.

자료와 출처

아래 자료는 이번 글의 정의와 표기법을 확인하는 데 사용했다. 생각그림과 사례 문장은 원자료를 복제하지 않고 이 글의 교육 목적에 맞게 새로 구성했다.

• Kaplan 외, Scaling Laws for Neural Language Models (2020)
• Hoffmann 외, Training Compute-Optimal Large Language Models (2022)
• Besiroglu 외, Chinchilla Scaling: A replication attempt (2024)