겉보기에 같은 한글을 AI가 다른 문자열로 셀 수 있을까?
완성형 한 글자와 자모 조합은 같은 모양이어도 코드포인트 배열이 다릅니다. 음절을 바꾸며 원문 비교와 NFC 정규화 뒤 비교를 확인합니다.
그림에서 무엇을 볼까요?
겉으로 같은 한글 가가 완성형 U+AC00 한 개와 자모 U+1100·U+1161 두 개 경로에서 NFC 정규화를 거쳐 같은 문자열이 되는 관계 그림입니다.
‘가’는 완성형 코드포인트 U+AC00 하나로도, 초성 ᄀ(U+1100)과 중성 ᅡ(U+1161)의 조합으로도 표현할 수 있습니다. 글꼴은 두 배열을 같은 음절처럼 그릴 수 있습니다.
프로그램이 코드 단위로만 비교하면 두 문자열은 다릅니다. 글자 수, 검색, 파일명 중복 검사도 예상과 달라질 수 있습니다.
함께 확인할 점
왼쪽은 완성형 음절, 오른쪽은 현대 한글 자모의 분해 표현입니다. 원문 그대로(===)와 NFC 정규화 뒤 비교를 함께 보여 줍니다. 보안상 모든 유사 문자 문제를 해결하는 도구는 아닙니다.
생각해 볼 질문
이름·검색어·파일명 중 하나를 골라 정규화 시점과 원문 보존 여부를 정책 문장으로 적어 보세요.
