합성 자료를 거듭 섞으면 드문 사례가 사라질까?

평균적인 출력이 다시 입력이 될 때

원자료에서 드문 사례가 10%였다고 하자. 합성 과정이 그 사례를 70%만 보존하고, 새 학습 자료의 20%만 원자료로 고정하면 다음 세대의 비중은 7.6%다. 이를 반복하면 꼬리 사례가 더 얇아진다.

Shumailov와 동료들은 2024년 Nature 논문에서 생성 자료를 무분별하게 반복 학습할 때 원래 분포의 꼬리가 사라지고 모형 붕괴가 나타날 수 있음을 설명했다. 논문은 실제 모형 실험을 다루지만 아래 활동의 숫자는 그 결과값이 아니다.

참고 · Ilia Shumailov 외 — 합성 자료의 반복 학습과 모형 붕괴 ↗

원자료를 남기는 비중이 경로를 바꾼다

아래 활동은 매 세대마다 원자료 일부를 다시 섞는 단순 반복식을 쓴다. 고정 비중을 0으로 하면 합성 과정의 손실이 누적된다. 100%로 하면 모든 세대가 원래 10%로 돌아간다.

보존율을 100%로 높이면 드문 사례가 줄지 않는다. 그러나 실제 생성 자료에서는 어떤 사례가 사라질지, 잘못된 패턴이 늘지, 표본 품질이 같은지를 별도로 검토해야 한다.

드문 사례가 곧 오류라는 뜻은 아니다

드물다는 이유만으로 제거해야 할 잡음이라고 볼 수 없다. 안전사고, 소수 언어, 특이한 의료 조건처럼 빈도는 낮지만 중요한 경우가 있다. 무엇을 보존할지는 목적과 영향에 따라 정해야 한다.

이 모형은 하나의 비율만 추적한다. 새 오류의 생성, 범주 사이 이동, 표본 수와 품질 검수는 포함하지 않는다. 실제 데이터 운영에서는 출처와 세대, 원자료 비중, 실패 사례를 기록해야 한다.