논리적 사고

AI 시험 문제가 학습 자료와 겹치면 점수를 믿을 수 있을까?

공개 시험·재표현 시험·새 비공개 시험의 결과를 비교하며 암기와 새로운 문제 해결을 구분합니다.

학습 자료와 공개 시험의 겹침, 표현을 바꾼 시험, 새 비공개 시험을 세 단계로 분리한 비교 도식
학습 자료와 공개 시험의 겹침, 표현을 바꾼 시험, 새 비공개 시험을 세 단계로 분리한 비교 도식
그림 크게 열기 ↗SVG 저장

그림에서 무엇을 볼까요?

학습 자료와 공개 시험의 겹침, 표현을 바꾼 시험, 새 비공개 시험을 세 단계로 분리한 비교 도식

벤치마크는 정해진 문제와 채점 규칙으로 모델을 비교합니다. 그런데 시험 문제가 사전학습·미세조정 자료에 포함되면 높은 점수에 문제 해결 능력과 기억 효과가 함께 섞일 수 있습니다. 이때 점수는 틀린 숫자가 아니라 해석 조건이 달라진 숫자입니다.

Yang 외는 단순 문자열 일치만으로 오염을 제거하면 번역·재표현처럼 표면이 달라진 자료를 놓칠 수 있다고 지적했습니다. 연구진은 변형 자료로도 시험에 과적합할 수 있음을 실험하고 더 강한 검사와 새 일회성 시험을 제안했습니다.

함께 확인할 점

세 점수 묶음은 개념 비교용 자체 자료입니다. 실제 모델의 성능이나 오염 판정이 아닙니다.

생각해 볼 질문

평가하려는 AI 과제 하나를 골라 기존 공개 시험, 재표현 시험, 새 비공개 시험을 어떻게 나눌지 적어 보세요.

함께 볼 그림

AB와 BA 두 순서에서 1기와 2기 점수를 비교하고 A의 4점 이월효과가 AB의 2기 B로 이어지는 교차 설계 그림순서를 바꿔도 같은 효과를 볼 수 있을까?강한 ETag 두 개는 값과 강도가 모두 같아야 하고 약한 비교는 W 슬래시를 제외한 값만 비교하는 흐름 그림AI가 약한 ETag와 강한 ETag를 같은 검증자로 써도 될까?10문항 중 9개와 100문항 중 60개를 집단별 같은 비중과 문항 수 가중 방식으로 통합해 서로 다른 정확도를 얻는 그림입니다.AI 정확도 90퍼센트와 60퍼센트를 평균 내면 75퍼센트일까?
← 논리적 사고 그림 더 보기