직접 식별자와 기억된 문장을 따로 본다
기록 보관소가 문서에서 사람 이름과 전화번호를 검은 막대로 가린 뒤 언어모형 훈련 자료에 넣는다고 합시다. 직접 식별자를 삭제하는 조치는 중요합니다. 그러나 특정 행사·희귀한 문구·위치 정보가 함께 남으면 한 사람을 짐작하거나 원문 일부를 재구성할 단서가 될 수 있습니다.
이 글의 활동은 가상 희귀 문구 10개를 묻는 고정 규칙 모형입니다. ‘이름만 삭제’에서는 정확 일치 후보 4개가 모두 밖으로 나옵니다. 이는 실제 모형의 확률이나 연구 결과가 아니라, 입력 단계의 삭제와 출력 단계의 공개가 다른 사건임을 보여 주는 교육 수치입니다.
Carlini와 동료들은 공개된 GPT-2에 질의만 할 수 있는 조건에서 후보 문장을 생성하고, 별도 점수로 비정상적으로 가능성이 높은 문장을 추려 실제 훈련 자료와 축어 일치를 확인했습니다. 공개 인터넷에 있던 이름·연락처와 코드 같은 자료가 포함됐지만, 논문은 모든 언어모형이 같은 양을 유출한다고 말하지 않습니다.
연구의 ‘기억’은 사람의 기억이나 의식을 뜻하지 않습니다. 저자들은 문자열이 훈련 자료에 적은 횟수 포함됐는데도 특정 접두어 뒤에서 축어적으로 생성되는지를 검사 가능한 방식으로 정의합니다. 이 글도 숨은 내부 상태 전체가 아니라 입력·출력으로 확인되는 현상만 다룹니다.
삭제·중복 정리·출력 검사는 서로 다른 경계다
중복 문서는 같은 구절을 여러 번 학습시킬 수 있으므로 문서 중복 정리는 노출을 줄이는 한 방법입니다. 활동의 ‘중복 정리 추가’에서는 후보가 4개에서 2개로 줄지만 2개는 여전히 공개됩니다. 연구도 중복 제거가 경험적으로 도움이 될 수 있으나 모든 추출을 막는 보장은 아니라고 구분합니다.
차등 개인정보보호 방식의 훈련은 적절한 기록 단위와 예산 아래 이론적 보장을 제공할 수 있지만 계산 비용과 효용의 절충이 있습니다. 입력에서 직접 식별자를 지우는 작업과 동일한 조치가 아닙니다. 어떤 보장을 주장하려면 알고리즘, 기록 단위, 개인정보 예산과 구현을 함께 밝혀야 합니다.
출력 검사는 생성 후보가 알려진 민감 문장과 지나치게 일치하는지 공개 전에 확인합니다. 활동의 마지막 상태에서는 후보 1개를 차단해 외부 공개 0개가 됩니다. 이 한 번의 고정 점검을 통과했다고 새로운 질문, 바꾼 철자, 다른 언어의 공격까지 안전하다고 단정할 수 없습니다.
그림에서 각 화살표는 앞 단계 카드의 경계에서 다음 카드 경계까지 이어집니다. 추출 감사와 출력 검사가 만나는 보라색 합류점은 ‘후보 발견’과 ‘사용자에게 공개’를 구분합니다. 차단한 건수도 사고·감사 기록에 남겨야 남은 위험을 평가할 수 있습니다.
배포 전 감사와 사고 대응을 함께 설계한다
NIST의 생성형 AI 위험관리 개요는 자료 개인정보 위험을 민감 정보의 누출, 무단 사용·공개, 재식별의 영향으로 설명합니다. 훈련 자료의 가시성이 제한될 수 있으므로 자료 계보, 배포 전 시험, 운영 감시와 사고 공개를 함께 관리해야 합니다.
활동에서 세 버튼을 누르면 공개된 정확 일치는 4개, 2개, 0개로 바뀝니다. 마지막의 후보 1개는 출력 검사에서 막혔습니다. 따라서 ‘후보가 1개였으니 유출 1개’도, ‘이번 공개가 0개였으니 위험 0’도 정확하지 않습니다. 후보·차단·공개의 열을 따로 읽어야 합니다.
실무 기록에는 자료 수집 근거와 보유 기간, 삭제·중복 정리 기준, 훈련 버전, 감사 질문의 생성 방법, 성공 판정 기준, 차단·삭제 요청과 재시험 결과를 남깁니다. 실제 사람의 정보를 감사용 예시로 다시 노출하지 않고 승인된 가상 표식이나 통제된 자료를 사용합니다.
다른 상황으로 옮겨 보세요. 상담 기록, 고객 문의, 학생 서술 답안을 AI 개발에 쓰려 한다면 입력 전 제거할 정보, 중복 기준, 훈련 단계의 보호, 배포 전 추출 감사, 출력 차단과 사고 통지를 어디에 둘까요? 각 층이 무엇을 줄이고 무엇을 보장하지 않는지 한 문장씩 적어 보세요.