같은 사람의 기록이 학습과 시험에 나뉘면 AI 점수가 부풀까?

그림에서 무엇을 볼까요?

한 사람의 여러 기록이 학습과 시험 상자에 갈라지는 방식과 사람 전체를 한 상자에 두는 방식의 비교 그림

한 사람에게서 여러 밤의 수면 기록을 모았다고 하자. 기록 행을 무작위로 나누면 첫째 밤은 학습, 둘째 밤은 시험에 들어갈 수 있다. 모델은 새 환자를 일반화하기보다 그 사람의 반복 특징을 알아본 덕분에 잘 맞힐 수 있다.

scikit-learn의 데이터 누수 안내는 시험 정보가 학습 단계에 들어가면 성능 추정이 지나치게 낙관적이 될 수 있으므로 분할을 먼저 하라고 설명한다. GroupShuffleSplit은 사람이 같은 그룹처럼 취급될 때 그룹 단위 분할을 제공한다.