AI 보이는 추론 실험실 · 문자와 UTF-8 바이트

AI가 한글 10자를 10바이트로 잘라도 될까?

문자 수와 저장 바이트 수는 같지 않습니다. 문자열과 한도를 바꿔 다중 바이트 문자를 중간에서 자르면 어떤 문제가 생기는지 확인합니다.

입문게시 2026-10-03읽기·실험 약 12분확인 문제 2개교육용 계산한국논리학협회 자체 제작제작·검수 LTCT 편집부

다국어 제작실에서 성인 개발자와 교사가 무문자 색상 블록을 바이트 쟁반에 나누고 작은 공식 갈색 안경 올빼미가 파란 블록을 좁은 쟁반에 넣는 장면
주제 이해를 돕기 위한 AI 생성 이미지 · LTCT 자체 제작
오늘의 질문

화면에서 한 글자로 보이는 한글과 이모지가 저장 공간에서도 한 바이트일까요?

영문은 한 칸, 한글은 세 칸, 이모지는 네 칸의 UTF-8 바이트를 쓰며 문자 경계에서만 안전하게 자르는 비교 그림입니다.
영문은 한 칸, 한글은 세 칸, 이모지는 네 칸의 UTF-8 바이트를 쓰며 문자 경계에서만 안전하게 자르는 비교 그림입니다. · 한국논리학협회 자체 제작
그림 크게 보기 ↗
01

보이는 글자와 저장 단위는 다릅니다

영문 기본 글자 ‘A’는 UTF-8에서 1바이트지만 한글 음절 ‘논’은 3바이트입니다. 올빼미 이모지처럼 보충 평면의 문자는 4바이트가 필요할 수 있습니다.

따라서 ‘10자’와 ‘10바이트’는 다른 제한입니다. 화면 길이, 데이터베이스 용량, 통신 한도를 구별해 적어야 합니다.

참고 · François Yergeau — UTF-8의 1~4옥텟 부호화 ↗

02

다중 바이트 문자의 가운데를 자르면 복원이 깨집니다

문자 하나를 이루는 첫 바이트만 남기고 이어지는 바이트를 버리면 유효한 UTF-8 문자열이 아닙니다. 화면에는 대체문자가 보이거나 해독 오류가 날 수 있습니다.

안전한 자르기는 문자를 하나씩 부호화해 다음 문자가 한도를 넘으면 그 앞에서 멈춥니다. 활동의 ‘그냥 자르기’와 결과를 비교해 보세요.

03

바이트 제한은 입력과 출력에서 함께 검증합니다

AI가 요약문을 만들더라도 저장 장치의 실제 제한을 자동으로 아는 것은 아닙니다. 프롬프트의 글자 수 지시와 저장 단계의 바이트 검증을 따로 둡니다.

정규화 방식과 결합문자에 따라 보이는 글자 수 계산도 달라질 수 있습니다. 이 활동은 코드포인트 단위 예시이며 모든 글자군 분할 문제를 다루지는 않습니다.

직접 확인하기 · 교육용 계산

문자열과 바이트 한도를 바꾸며 안전한 자르기 비교하기

브라우저 TextEncoder의 UTF-8 결과를 사용합니다. 안전한 방식은 유니코드 문자 단위로 필요한 바이트를 더해 한도를 넘기기 전 멈춥니다. 실제 AI 호출은 없습니다.

문자 수4자
UTF-8 전체8B
문자 경계 보존AI논
사용 바이트5B
그냥 자른 바이트유효 · AI논
안전하게 남는 문자열은 ‘AI논’입니다.

UTF-8에서 영문 기본 문자는 보통 1바이트, 한글 음절은 3바이트, 이 이모지는 4바이트입니다. 실제 저장 전에는 문자 경계에서 잘라야 합니다.

관계를 읽고, 다른 상황에 적용하기

두 문제로 생각 확인

1UTF-8에서 한글 음절 두 글자 ‘논리’의 바이트 수는?
25바이트 한도에 ‘AI논리’를 안전하게 자르면 남는 문자열은?

두 문제의 답을 모두 선택하면 해설을 볼 수 있습니다.

나의 설명으로 마무리

오늘 발견한 관계

0 / 4,000자

메모는 현재 기기의 브라우저에만 보관됩니다. 계정이나 다른 기기에는 동기화되지 않습니다.

출처와 제작 안내

원문을 참고해 설명·도표·문항·실험을 새로 작성했습니다. 별도 표시가 없는 사례와 수치는 학습을 위한 가상 예시입니다. 원문 번역이나 실제 모델의 성능 평가 자료가 아닙니다.

  1. UTF-8의 1~4옥텟 부호화 ↗François YergeauRFC 3629: UTF-8, a transformation format of ISO 10646

    2003년 11월 표준 원문에서 UTF-8 문자가 1~4옥텟으로 부호화되고, 다중 옥텟 문자의 이어지는 바이트 규칙을 확인했습니다. 활동의 문자열과 바이트 한도는 LTCT가 만든 예시입니다.