AI를 평가할 때, 예측 시점에는 몰랐던 결과를 학습에 써도 될까?

가입한 날짜와 결과를 알게 된 날짜는 다릅니다

고객이 가입한 지 두 달 뒤에도 서비스를 이용하는지 예측하는 AI를 생각해 봅시다. 6월 가입 고객의 결과는 8월이 되어야 확인할 수 있습니다. 6월 말에 AI를 학습시킨다면 이 결과는 아직 모릅니다.

몇 달이 지난 뒤 6월 말 상황을 재현해 AI를 평가할 때도 마찬가지입니다. 6월 가입 기록에 나중에 확인한 결과를 붙여 학습시키면, 그때는 구할 수 없었던 정보를 AI에게 미리 준 셈입니다. 이렇게 학습에 사용할 수 없었던 정보가 들어가는 문제를 데이터 누수라고 합니다.

참고 · scikit-learn developers — 시간 순서를 지키는 자료 분할 ↗

6월 말까지 결과가 확인된 자료만 학습에 씁니다

각 달의 결과가 정확히 두 달 뒤 월말에 확인된다고 가정합시다. 6월 말에는 1~4월 가입 고객의 결과를 알 수 있지만, 5월과 6월 가입 고객의 결과는 아직 모릅니다. 따라서 이 사례에서는 최근 두 달의 기록을 학습에서 제외합니다.

아래 활동은 이 관계를 계산합니다. 기본값에서는 1~6월 기록을 학습 후보로 고르면 그중 두 달분의 결과가 미확정으로 표시됩니다. ‘학습에서 제외할 최근 기간’을 2개월로 바꾸면, 결과를 확인할 수 있었던 1~4월 기록만 남습니다.

나중에 나온 결과로 채점하는 것은 가능합니다

AI가 먼저 예측한 뒤, 실제 결과가 나오면 두 값을 비교해 채점할 수 있습니다. 문제는 채점에 쓸 결과를 미리 학습에 넣고도, 그 결과를 모르는 상태에서 예측한 능력이라고 주장하는 것입니다. 자료의 일부에만 이런 문제가 있어도 해당 평가는 다시 점검해야 합니다.

과거를 재현하는 평가든 앞으로 할 예측이든, 학습에는 그 기준일까지 알 수 있었던 정보만 사용해야 합니다. 이 활동은 모든 결과가 같은 기간 뒤에 확인된다고 단순화했습니다. 실제 자료에서는 기록마다 정보가 확인된 시점을 따로 살펴야 합니다.