“AI가 이 말을 배웠다”는 표현에는 서로 다른 두 시간이 섞이기 쉽습니다. 하나는 수많은 토큰을 보며 모델의 가중치를 바꾸는 사전학습이고, 다른 하나는 학습이 끝난 모델이 지금 받은 질문을 임시 문맥으로 계산하는 답변 시간입니다. 이 둘을 나누면 학습으로 가중치에 반영된 내용과 현재 입력으로 제공된 정보를 구분할 수 있습니다.
사전학습에서는 학습 데이터의 다음 토큰을 더 잘 맞히도록 모델 안의 수많은 수치인 가중치를 조금씩 고칩니다. 답변 생성에서는 이미 정해진 가중치를 사용해 현재 입력의 다음 토큰을 계산합니다. 일반적인 채팅 한 번이 곧바로 사전학습을 다시 시작하는 것은 아닙니다. GPT-4 기술 보고서도 사전학습을 문서의 다음 토큰을 예측하는 단계로 설명하고, 배포된 모델은 경험에서 계속 학습하지 않는다는 한계를 따로 밝힙니다.[1]
사전학습용 자료는 보통 여러 출처에서 모은 뒤 형식 정리, 품질·안전 필터링, 중복 제거, 언어 판별 같은 과정을 거칩니다. 그다음 제2회에서 본 토큰화로 문서를 번호의 줄로 바꾸고, 일정 길이의 묶음으로 나눠 학습 장치에 보냅니다. 공개 연구인 Llama 3 보고서는 사전학습 자료의 수집·정제·중복 제거와 데이터 혼합을 별도 단계로 기술하며, 공개 말뭉치 The Pile도 서로 다른 22개 자료원을 조합하고 구성 코드를 공개했습니다.[2][3] 실제 상용 모델의 자료 구성은 공개 범위가 서로 다릅니다.
“봄이 오면 꽃이 핀다”라는 토큰 줄을 예로 들면, 모델은 “봄이” 뒤의 “오면”, “봄이 오면” 뒤의 “꽃이”, 그다음 “핀다”를 차례로 예측하는 문제를 받습니다. 원문 토큰 줄을 한 칸 옆으로 밀면 각 위치의 입력과 다음 토큰 정답이 만들어집니다. 이런 자기지도 학습은 문서 자체가 다음 토큰의 정답을 제공한다는 뜻입니다. GPT-3와 GPT-4 보고서가 설명하는 자기회귀 언어 모델의 기본 목표도 이 다음 토큰 예측입니다.[1][4]
모델이 “봄이 오면” 다음에 ‘바람이’ 50%, ‘꽃이’ 30%, ‘밤이’ 20%라고 예측했는데 원문의 다음 토큰이 ‘꽃이’라면, 정답 토큰에 충분한 확률을 주지 못했습니다. 학습은 이 차이를 손실이라는 숫자로 계산합니다. 흔히 쓰는 교차엔트로피 손실은 정답 토큰의 확률이 낮을수록 커지고, 높을수록 작아집니다. 사전학습의 직접 목표는 다음 토큰 손실을 줄이는 것입니다. 문장의 사실성 평가는 별도의 검증 절차에서 다룹니다.[1]
손실을 계산한 뒤에는 각 가중치를 어느 방향으로 얼마나 바꾸면 손실이 줄어드는지 미분으로 구합니다. 이 신호를 출력 쪽에서 입력 쪽으로 전달하는 과정이 역전파입니다. 옵티마이저는 그 기울기를 이용해 가중치를 정해진 폭만큼 갱신합니다. Adam은 기울기와 그 제곱의 이동 평균을 이용해 갱신 폭을 조절하는 대표적인 최적화 방법입니다.[5] 실제 대규모 학습은 분산 장치, 정밀도 관리, 학습률 계획 등 더 많은 공학을 더합니다.
학습 장치는 여러 토큰 묶음을 한 배치로 모아 예측·손실·역전파·갱신을 반복합니다. 서로 다른 문맥에서 비슷한 표현과 관계를 거듭 만나며 가중치에 통계적 규칙이 분산되어 자리 잡습니다. 모델 크기만 키우는 것으로 끝나지 않고, 학습 토큰 수와 계산량의 균형도 중요합니다. Chinchilla 연구는 주어진 계산 예산 아래에서 모델 크기와 학습 토큰 수를 함께 늘려야 한다는 실험 결과를 제시했습니다.[6] ‘많이 배웠다’는 말에는 자료량뿐 아니라 자료 혼합, 최적화와 계산 예산이 함께 들어갑니다.
학습을 마치면 여러 문맥에서 나타난 철자, 문법, 의미 관계와 표현 경향이 많은 가중치에 나뉘어 남습니다. 동시에 반복되거나 독특한 일부 문자열은 그대로 재현될 수 있습니다. 반복되거나 독특한 문자열은 그대로 재현될 수 있고, GPT-2를 대상으로 한 연구는 질의를 통해 학습 문장의 일부를 추출할 수 있음을 보였습니다.[7] 그래서 데이터 정제·중복 제거·개인정보 점검과 출력 검수가 중요합니다.
훈련 중간이나 끝에 저장한 가중치 묶음을 체크포인트라고 합니다. 배포 서비스는 이 가중치를 불러와 답변 계산에 사용합니다. 이후 별도의 후속학습이나 새 버전 배포가 없다면, 오늘 사용자의 한 질문이 그 체크포인트를 곧바로 고쳐 쓰지는 않습니다. GPT-3 연구도 몇 개의 예시를 프롬프트에 넣어 과제를 수행시킬 때 모델 가중치를 업데이트하지 않았다고 명시합니다.[4] 대화 문맥의 영향과 가중치 갱신은 서로 다른 과정입니다.
사용자가 “이 회의록에서 결정 사항만 찾아 줘”라고 문서와 함께 요청하면, 문서 토큰은 현재 입력에 들어갑니다. 모델은 고정된 가중치로 그 토큰 사이의 관계를 계산하고 답을 만듭니다. 이 정보는 현재 답변을 크게 바꿉니다. 사전학습 자료 편입 여부는 별도의 제품 정책과 학습 과정으로 결정됩니다. 서비스가 대화를 저장하는지, 품질 개선에 사용하는지는 별도의 제품 정책과 설정 문제입니다. 계산 관점에서는 고정된 가중치와 현재 문맥을 먼저 나누어 보는 것이 정확합니다.
기초 언어 패턴과 폭넓은 지식을 만드는 사전학습, 지시 따르기와 원하는 행동을 다듬는 후속학습, 사용 시점에 예시·문서·질문을 넣는 문맥 제공은 목적과 비용, 남는 방식이 다릅니다. GPT-4 보고서도 다음 토큰 사전학습 뒤에 별도의 정렬 후속학습이 있다고 구분합니다.[1] 세 과정은 모델을 만드는 시점, 행동을 다듬는 시점, 사용하는 시점에 각각 놓입니다. 현재 요청의 정보가 어느 과정에서 작용하는지 구분하면 답의 근거를 더 정확히 찾을 수 있습니다.
사전학습 시점 이후에 바뀐 사실, 조직 내부 문서, 정확한 수치가 필요한 일은 모델의 가중치에만 기대기 어렵습니다. 질문에 원문을 함께 넣거나, 검색으로 관련 부분을 가져오거나, 계산 도구를 연결하고, 답의 주장과 출처를 대조해야 합니다. 반대로 문체 변환이나 아이디어 확장처럼 일반적인 언어 패턴이 중심인 일은 사전학습된 능력을 바로 활용할 수 있습니다. 실무에서는 일반적인 언어 능력으로 처리할 부분과 현재 자료를 제공하고 검증할 부분을 먼저 나누면 도구 선택이 쉬워집니다.
오른쪽 실습은 “봄이 오면” 다음 토큰 후보를 세 개로 줄인 교육용 소프트맥스 모형입니다. 처음에는 세 로짓이 모두 0이라 확률이 같습니다. ‘한 번 학습’을 누르면 교차엔트로피의 기울기 확률 − 정답 표시를 따라 로짓을 수정하고, 정답 ‘꽃이’의 확률이 올라가며 손실이 줄어듭니다. 학습률을 높이면 한 번의 이동이 커집니다. 실제 LLM은 훨씬 많은 토큰·가중치·배치를 쓰며, 이 실습은 외부 모델이나 API를 호출하지 않습니다. 가중치 갱신이 정답 토큰의 예측 확률을 조금씩 높이는 과정을 확인해 보세요.
실제 LLM 실행이나 내부 관찰값이 아니라 같은 원리를 세 로짓으로 축소해 브라우저에서 계산하는 모형입니다.