같은 사람의 기록이 학습과 시험에 나뉘면 AI 점수가 부풀까?

행을 섞어도 사람이 새로워지는 것은 아니다

한 사람에게서 여러 밤의 수면 기록을 모았다고 하자. 기록 행을 무작위로 나누면 첫째 밤은 학습, 둘째 밤은 시험에 들어갈 수 있다. 모델은 새 환자를 일반화하기보다 그 사람의 반복 특징을 알아본 덕분에 잘 맞힐 수 있다.

scikit-learn의 데이터 누수 안내는 시험 정보가 학습 단계에 들어가면 성능 추정이 지나치게 낙관적이 될 수 있으므로 분할을 먼저 하라고 설명한다. GroupShuffleSplit은 사람이 같은 그룹처럼 취급될 때 그룹 단위 분할을 제공한다.

참고 · scikit-learn developers — 데이터 누수와 사람 단위 분할 ↗

기록 수가 많을수록 겹침이 쉬워진다

각 사람에게 기록이 5개이고 시험 비율이 20%라면, 어떤 시험 기록의 나머지 네 기록이 모두 시험에 있을 확률은 0.2의 네제곱이다. 따라서 그 사람이 학습에도 나타날 확률은 99.84%다.

아래 활동에서 기록 수를 2에서 8로 바꿔 보자. 시험 비율이 같아도 반복 기록이 많을수록 기록 단위 분할의 사람 겹침이 커진다. 사람 전체를 한쪽에만 두면 양쪽 사람 겹침은 0이 된다.

분할 단위는 실제 질문에서 정한다

목표가 ‘이미 본 사람의 다음 기록’을 예측하는 것이라면 기록 분할이 맞을 수도 있다. 목표가 ‘처음 보는 사람’을 예측하는 것이라면 사람 단위 분할이 필요하다. 시간 이후를 예측한다면 시간 순서도 지켜야 한다.

활동은 사람마다 같은 수의 기록이 있고 독립 배정된다고 가정한다. 결측, 가족·기관 중복, 전처리 누수와 하이퍼파라미터 선택은 계산하지 않는다. 실제 평가는 그룹 식별자와 분할 시드를 보존해야 한다.