논리적 사고

AI가 유티에프 팔 파일 앞의 표식을 글자로 세어도 될까?

유티에프 팔(UTF-8, 유니코드 문자 인코딩) 파일의 시작 표식과 읽기 방식을 바꾸어 본문 앞에 보이지 않는 문자가 남는지 확인합니다.

그림에서 무엇을 볼까요?

파일 시작의 EF BB BF 세 바이트를 인코딩 서명으로 분리한 뒤 본문을 읽는 관계 그림

유티에프 팔은 문자를 바이트의 연속으로 표현하므로 유티에프 십육처럼 바이트 순서를 고를 문제가 없습니다. 파일 앞의 EF BB BF는 순서를 정하는 값이 아니라 이 파일이 유티에프 팔임을 알리는 서명으로 쓰입니다.

이 서명은 U+FEFF라는 코드 포인트의 유티에프 팔 표현입니다. 읽는 쪽이 파일 시작의 서명으로 알아보면 본문에 넣지 않고 분리합니다.

U+FEFF가 파일 맨 앞에 한 번 나타나는 경우만 다룹니다. 파일 중간의 U+FEFF와 규격별 금지·허용 정책은 별도로 판단해야 합니다.

텍스트 파일을 읽는 프로그램 하나를 떠올리고, 파일 시작 표식을 분리할 조건과 원문 바이트를 보존할 기록 방법을 적어 보세요.