AI를 평가할 때, 예측 시점에는 몰랐던 결과를 학습에 써도 될까?
6월 말에 사용할 AI를 평가한다고 가정합니다. 8월에야 확인된 고객의 이용 결과까지 학습 자료에 넣으면 무엇이 잘못되는지 살펴봅니다.
그림에서 무엇을 볼까요?
6월 가입 고객의 두 달 뒤 이용 여부는 8월에 확인됩니다. 이 결과를 6월 말 AI의 학습 자료에 넣으면 당시 알 수 없었던 정보를 미리 제공하게 됩니다.
고객이 가입한 지 두 달 뒤에도 서비스를 이용하는지 예측하는 AI를 생각해 봅시다. 6월 가입 고객의 결과는 8월이 되어야 확인할 수 있습니다. 6월 말에 AI를 학습시킨다면 이 결과는 아직 모릅니다.
몇 달이 지난 뒤 6월 말 상황을 재현해 AI를 평가할 때도 마찬가지입니다. 6월 가입 기록에 나중에 확인한 결과를 붙여 학습시키면, 그때는 구할 수 없었던 정보를 AI에게 미리 준 셈입니다. 이렇게 학습에 사용할 수 없었던 정보가 들어가는 문제를 데이터 누수라고 합니다.
함께 확인할 점
1월부터 12월까지 매월 고객 가입 기록이 한 묶음씩 있다고 가정합니다. 가입 몇 개월 뒤 이용 여부를 확인하는지와 최근 몇 개월의 기록을 학습에서 제외할지를 바꿔 보세요. 실제 AI를 학습시키거나 예측 점수를 계산하지는 않습니다.
생각해 볼 질문
6월 가입, 6월 말 학습, 8월 결과 확인을 시간 순서대로 적어 보세요. 8월의 결과를 학습에 쓰는 경우와 예측 후 채점에 쓰는 경우가 왜 다른지 설명해 보세요.
같은 숫자, 다른 인상
달린 뒤 자동차 타이어의 공기압은 왜 높아질까?
AI가 HTTP Content-Length를 글자 수로 적어도 될까?