재표본화는 드문 꼬리를 먼저 놓칠 수 있다
종자 기록 100개에 공통 유형 70개, 중간 유형 20개, 드문 유형 10개가 있다고 합시다. 첫 AI가 이 분포를 근사해 새 표본 100개를 만들었더니 자체 예시에서는 73·23·4가 됐습니다. 유한 표본에서는 드문 유형이 적게 뽑히거나 아예 빠질 수 있습니다.
다음 AI가 원자료를 보지 않고 첫 합성표본만 학습해 다시 100개를 만들면, 이 예시는 80·19·1이 됩니다. 첫 단계의 우연한 축소가 다음 단계의 학습 분포가 되어 반복됩니다. 숫자는 가능한 현상을 눈에 보이게 만든 고정 사례이며 실제 언어모델 실험의 평균이나 예측값이 아닙니다.
Shumailov와 동료들은 이를 ‘모델 붕괴’의 초기 단계로 설명하며 분포의 꼬리, 곧 드문 사건 정보가 먼저 사라질 수 있음을 이론적 예와 GMM·VAE·언어모델 실험으로 다뤘습니다. 연구가 검토한 것은 재귀적으로 생성된 자료가 다음 세대 훈련에 들어가는 특정 조건입니다.
오류에는 유한 표본을 다시 뽑으며 생기는 통계적 근사 오차와 모델이 원분포를 완전히 표현하지 못하는 함수 근사 오차가 포함됩니다. ‘합성자료에는 항상 오류가 있다’는 한 문장보다 어떤 자료가 대체되고, 얼마나 반복되며, 어떤 생성·선별 과정을 거쳤는지를 묻는 편이 정확합니다.
합성자료 자체보다 자료 계보와 혼합 조건을 본다
합성자료가 언제나 해롭다는 결론은 성립하지 않습니다. 품질이 검증된 합성자료는 드문 조건을 보강하거나 통제된 모의 상황을 넓히는 데 쓰일 수 있지만, 그 목적과 품질은 별도로 검증해야 합니다. 위험은 원자료를 지운 채 앞 세대 출력만 진실의 대리물로 반복 사용하는 조건에서 커집니다.
비교 카드 ‘원자료 보존’은 원자료와 새 자료를 함께 유지한 자체 분포 72·20·8을 보여 줍니다. 드문 유형 8개가 유지됐다는 수치는 보존 전략의 실제 성능 주장이 아닙니다. 같은 100개 안에서 대체와 보존의 방향 차이를 생각하기 위한 교육용 대조입니다.
Gerstgrasser와 동료들은 앞 세대 합성자료가 원자료를 대체하는 조건과 원자료를 계속 축적하며 합성자료를 더하는 조건을 비교했습니다. 후자의 조건에서는 그들이 시험한 여러 모델·설정에서 붕괴를 피할 수 있음을 보였지만, 모든 합성 비율과 모든 데이터 생성 과정을 보장한 것은 아닙니다.
따라서 데이터셋에는 원자료·합성자료의 출처와 생성 모델 버전, 생성 시점, 필터, 중복 제거, 혼합 비율을 남겨야 합니다. ‘인터넷에서 수집’만 적으면 어느 세대 출력이 얼마나 되먹임됐는지 추적할 수 없습니다. 자료 계보는 품질 검사의 출발점입니다.
평균 품질과 드문 유형 보존을 따로 시험한다
전체 문장의 자연스러움이나 평균 정확도가 유지돼도 희귀 언어, 긴 꼬리 사실, 안전상 중요한 예외가 먼저 줄 수 있습니다. 배포 전에 중요하지만 드문 유형을 사전 목록으로 만들고 세대별 포함률·오류율·다양성을 따로 측정합니다. 원자료에서 본 적 없는 유형은 별도 새 시험으로 평가합니다.
활동에서 네 버튼은 공통·중간·드문 유형의 합이 모두 100인지 유지합니다. 원자료 10개였던 드문 유형은 1세대 4개, 합성자료만 쓴 2세대 1개, 원자료 보존 비교 8개입니다. 총량이 같아도 구성은 크게 달라질 수 있다는 점이 핵심입니다.
관찰한 출력만으로 AI가 ‘드문 사례를 중요하지 않다고 생각했다’고 말할 수는 없습니다. 표본화와 학습 과정의 결과를 측정했을 뿐, 숨은 의도나 완전한 내부 사고를 읽은 것이 아닙니다. 원인을 검토하려면 생성 확률, 필터, 훈련 혼합과 평가 자료를 통제해야 합니다.
다른 상황으로 옮겨 보세요. 교육 문항, 의료 기록, 방언 음성처럼 드물지만 빠지면 위험한 사례는 무엇인가요? 원자료 보관소를 분리해 두고, 합성 여부를 표시하며, 매 세대 같은 희귀 시험 세트를 재사용하지 않는 새 검증 절차를 어떻게 설계할지 적어 보세요.