시험 자료를 따로 나눴는데도 성능이 부풀려질 수 있을까?

그림에서 무엇을 볼까요?

학습 자료는 모형 학습에, 조정 자료는 설정 선택에, 최종 평가 자료는 완성 후 검사에 사용한다는 두 줄의 단계표.

LTCT 예시는 학습 자료, 조정 자료, 최종 평가 자료를 세 칸으로 나눕니다. 학습 자료로 모형을 만들고 조정 자료로 변수나 설정을 선택합니다. 최종 평가 자료는 그 선택이 끝난 뒤 사용합니다. 최종 결과를 본 다음 모형을 바꾸면 그 자료를 더 이상 완전히 새로운 평가로 취급하기 어렵습니다.

예를 들어 한 학생의 답안 10개가 있고 아홉 개는 학습, 하나는 평가에 들어갔다면, 결과는 “새 학생을 평가하는 능력”과 다를 수 있습니다. 같은 학생의 말투와 반복된 풀이를 알아본 효과가 포함될 수 있기 때문입니다. 새 학생에 대한 성능이 목표라면 학생 단위 분리를 고려해야 합니다.