시험 자료가 학습에 들어가면 질문이 바뀐다
벤치마크는 정해진 문제와 채점 규칙으로 모델을 비교합니다. 그런데 시험 문제가 사전학습·미세조정 자료에 포함되면 높은 점수에 문제 해결 능력과 기억 효과가 함께 섞일 수 있습니다. 이때 점수는 틀린 숫자가 아니라 해석 조건이 달라진 숫자입니다.
Yang 외는 단순 문자열 일치만으로 오염을 제거하면 번역·재표현처럼 표면이 달라진 자료를 놓칠 수 있다고 지적했습니다. 연구진은 변형 자료로도 시험에 과적합할 수 있음을 실험하고 더 강한 검사와 새 일회성 시험을 제안했습니다.
따라서 공개 문제 20개에서 18개를 맞혔다는 사실만으로 처음 보는 같은 유형의 문제도 90% 맞는다고 결론내릴 수 없습니다. 학습 자료와의 관계를 별도로 확인해야 합니다.
겹침 신호와 능력 평가는 분리한다
활동에서 공개 시험 그대로, 표현만 바꾼 시험, 새 비공개 시험을 차례로 누르세요. 자체 모형은 기존 시험 점수 18·16·12점, 새 시험 점수 10·11·12점을 보여 줍니다. 문자열 겹침도 8·5·0건으로 둡니다. 이 패턴은 오염이 성능을 부풀릴 수 있다는 가설을 설명하지만 실제 모델의 오염을 확정하는 증거는 아닙니다.
Golchin과 Surdeanu는 원문과 단어 수준 교란 문장을 보기로 제시해 모델이 원래 문장을 알아보는지를 묻는 오염 검사를 제안했습니다. 위치 편향을 통제하고 여러 자료에 적용했지만, 훈련 자료를 직접 열어 본 검사가 아니라 행동 신호를 이용한 추정입니다.
문자열 겹침이 없다는 사실도 의미 겹침이 없다는 보장은 아닙니다. 반대로 점수 하락만으로 오염을 단정할 수도 없습니다. 검사 방법이 포착하는 범위를 적어야 합니다.
참고 · Shahriar Golchin, Mihai Surdeanu — 원래 문장을 알아보는 선택형 오염 검사 ↗
새 문제와 시간 정보를 함께 설계한다
더 설득력 있는 평가는 모델의 학습 종료 뒤 만든 새 문제, 공개되지 않은 일부 문항, 같은 원리를 다른 표현과 상황에 적용하는 전이 문항을 함께 사용합니다. 작성 시각과 공개 경로, 중복 검사 방법을 남기면 점수 해석이 쉬워집니다.
새 시험 점수가 기존 점수보다 낮으면 두 가능성을 나눠야 합니다. 기존 시험에 기억 효과가 있었을 수 있고, 새 시험이 더 어렵거나 채점 품질이 달랐을 수도 있습니다. 난도와 오염을 한 번에 바꾸면 원인을 구분하기 어렵습니다.
교육·채용·인증 시험에서 AI를 평가할 때 공개 점수 하나 대신 공개 시험, 재표현 시험, 새 시험의 간격과 생성 시점을 표로 남겨 보세요. 내부 사고를 읽었다고 주장하지 않고 관찰한 출력과 자료 계보에서만 결론을 세우는 태도가 핵심입니다.