토큰은 문장을 넣는 단위다
음성 편집자가 ‘올빼미는 논리를 배운다’라는 짧은 자막을 정리합니다. 띄어쓰기 기준으로는 세 어절이고, 공백 두 칸을 포함하면 이 예시의 문자는 열두 개입니다. 그런데 컴퓨터가 모델에 전달할 단위인 토큰은 이 두 수와 같아야 할 이유가 없습니다. 토큰화는 정해진 규칙과 어휘 목록에 따라 텍스트를 조각으로 나누고, 그 조각을 처리할 수 있는 번호와 연결하는 과정입니다.
허깅페이스의 공개 교육 자료는 단어 단위, 문자 단위, 부분단어 단위의 분할을 비교합니다. 어떤 조각 목록과 규칙을 쓰느냐에 따라 같은 표현도 다르게 나뉩니다. 모델을 사용할 때에는 학습 때 함께 사용한 토크나이저와 어휘를 맞추어야 합니다. 다른 분할기의 번호를 그대로 넣어도 같은 뜻으로 처리될 것이라고 기대할 수는 없습니다. 번호는 그 목록 안에서 조각을 가리키는 표식이기 때문입니다.
토큰 수를 셌다는 것은 표현의 조각 수를 확인했다는 뜻입니다. 문장의 주장 수, 추론 단계 수, 이해의 깊이를 직접 센 것이 아닙니다. 다음 표현을 고르는 확률 실험과도 단계가 다릅니다. 이번에는 이미 적힌 입력을 어떤 단위로 나누는지만 관찰합니다. 모델이 왜 그런 답을 했는지 설명하는 일은 그 뒤에 남아 있습니다.
다섯 조각과 여덟 조각을 직접 만들기
활동의 긴 조각 목록에는 ‘올빼미는’, ‘논리를’, ‘배운다’가 들어 있습니다. 왼쪽부터 가장 길게 맞는 조각을 고르고 공백을 별도로 보존하면, 세 어절과 공백 두 개를 합쳐 다섯 토큰이 됩니다. 작은 조각 목록에는 ‘올빼미’, ‘는’, ‘논리’, ‘를’, ‘배운’, ‘다’가 있습니다. 같은 문장을 처리하면 여섯 글자 조각과 공백 두 개, 모두 여덟 토큰입니다. 문장을 고정한 채 목록만 바꾸어 두 결과를 비교해 보세요.
각 토큰을 순서대로 이어 붙이면 두 경우 모두 원래 문장이 돌아옵니다. 여기서 보존된 것은 공백을 포함한 텍스트이고, 달라진 것은 그 텍스트를 담는 경계와 조각 수입니다. 활동의 네모 안에 보이는 ‘공백’이라는 글자는 빈칸을 알아보기 위한 표시입니다. 원문에 공백이라는 단어를 새로 넣은 것이 아닙니다. 다시 합친 문장을 원문과 대조하면 표시와 데이터의 차이도 확인할 수 있습니다.
이번에는 문장 끝의 마침표를 추가한 예시를 선택하세요. 두 목록 모두 마침표가 없으므로 문자 하나를 그대로 남깁니다. 결과는 각각 여섯 개와 아홉 개입니다. 붙여 쓴 예시에서는 공백 두 개가 사라져 각각 세 개와 여섯 개가 됩니다. 이 규칙은 문자 하나를 예비 조각으로 남기므로 원문을 잃지 않습니다. 실제 서비스는 정규화, 바이트 처리, 특수 토큰 등 별도의 규칙을 가질 수 있어 이 수치를 그대로 적용할 수 없습니다.
조각 수를 넘어 확인해야 할 것
젠리히·해도·버치의 2016년 연구는 신경망 번역에서 드물거나 처음 만나는 단어를 작은 단위의 조합으로 표현하는 접근을 다룹니다. 모든 단어를 통째로 저장하려는 부담과, 문자를 지나치게 잘게 나누어 처리 길이가 늘어나는 부담 사이에서 어휘를 설계하는 질문입니다. 이 글의 한국어 목록은 그런 문제를 이해하도록 사람이 만든 예시이며 논문의 학습 알고리즘이나 번역 성능을 재현하지 않습니다.
활동에서 긴 목록이 토큰을 더 적게 만들었다고 해서 그 목록이 언제나 더 좋은 것은 아닙니다. 여기에는 익숙한 세 어절이 미리 들어 있습니다. 처음 보는 표현을 넣으면 같은 장점이 유지되는지 따로 확인해야 합니다. 작은 조각이 한국어 문법의 정확한 형태소라는 보장도 없습니다. 이 사례에서 ‘배운’과 ‘다’로 나눈 것은 우리가 고른 분할이며 모든 AI가 같은 경계를 사용한다는 뜻이 아닙니다.
다른 상황에 적용할 때는 원문, 사용한 분할기와 버전, 공백·문장부호 처리, 특수 토큰 포함 여부를 함께 기록해 보세요. 서로 다른 도구가 보여 준 숫자를 비교하려면 셈의 규칙이 맞아야 합니다. 입력 길이 한도가 토큰으로 정해진 경우에는 실제 사용할 도구의 결과를 확인해야 합니다. 긴 글을 몇 조각으로 표현했는지와 그 글을 얼마나 타당하게 추론했는지는 각각 검토할 질문입니다.
참고 · 리코 젠리히 · 배리 해도 · 알렉산드라 버치 / 에든버러대학교 — 희귀 단어를 작은 단위로 표현하는 번역 연구 ↗