합성 자료를 거듭 섞으면 드문 사례가 사라질까?

그림에서 무엇을 볼까요?

원자료의 보라색 드문 사례가 합성 자료 세대를 거치며 줄고 원자료 고정 비중이 이를 붙잡는 그림

원자료에서 드문 사례가 10%였다고 하자. 합성 과정이 그 사례를 70%만 보존하고, 새 학습 자료의 20%만 원자료로 고정하면 다음 세대의 비중은 7.6%다. 이를 반복하면 꼬리 사례가 더 얇아진다.

Shumailov와 동료들은 2024년 Nature 논문에서 생성 자료를 무분별하게 반복 학습할 때 원래 분포의 꼬리가 사라지고 모형 붕괴가 나타날 수 있음을 설명했다. 논문은 실제 모형 실험을 다루지만 아래 활동의 숫자는 그 결과값이 아니다.