전체 66% 뒤에는 서로 다른 변화가 있다
연안 여객선 운영실이 문서 분류 AI를 시험한다고 합시다. 기준 평가 100건은 공통 형식 80건과 드문 형식 20건입니다. 조건별 정확도가 각각 90%와 50%라면 맞힌 수는 72건과 10건, 전체 82건입니다. 이 숫자는 실제 운항 시스템의 결과가 아니라 두 종류의 변화를 분리하려는 자체 모형입니다.
몇 달 뒤 드문 형식의 문서가 늘어 공통 40건, 드문 60건이 됐다고 합시다. 각 형식에서의 정확도 90%와 50%는 그대로입니다. 맞힌 수는 36+30=66건입니다. 입력 X의 구성 P(X)는 바뀌었지만, 이 고정 표에서는 각 입력 종류와 정답 사이의 조건부 성능이 유지됩니다. 이를 입력 또는 공변량 변화의 교육용 사례로 봅니다.
다른 날에는 구성은 공통 80건·드문 20건으로 그대로지만 공통 형식의 규정 표현이 달라져 정확도가 90%에서 70%로 내려갑니다. 맞힌 수는 56+10=66건입니다. 전체 성능은 앞 장면과 같은 66%지만, 이번에는 같은 종류의 입력에 대한 정답 관계 또는 조건부 성능이 달라졌습니다. 개념 변화에 가까운 사례입니다.
Zhang, Lipton, Li, Smola의 공개 교재는 공변량 변화를 P(X)의 변화와 P(Y|X)의 유지로, 개념 변화를 조건부 관계의 변화로 구분합니다. 실제 환경에서는 둘이 섞이고 입력 종류도 명확히 둘로 나뉘지 않을 수 있으므로 이름만 붙이는 것보다 어떤 분포와 관계를 측정했는지 밝히는 것이 중요합니다.
참고 · Aston Zhang, Zachary C. Lipton, Mu Li, Alexander J. Smola — 환경과 분포 변화 ↗
입력 감시와 성능 감시는 답하는 질문이 다르다
활동의 ‘입력 구성 변화’와 ‘관계 변화’는 모두 전체 66%를 보여 줍니다. 전체 정확도만 보면 원인을 구별할 수 없습니다. 공통·드문 입력의 건수, 조건별 정답 수를 함께 보아야 40·60으로 구성이 바뀐 것인지, 공통 입력 정확도가 90%에서 70%로 바뀐 것인지 드러납니다.
라벨이 늦게 도착하는 운영 환경에서는 입력 길이, 센서 범위, 언어, 기관 같은 특징의 변화부터 경보할 수 있습니다. 그러나 입력 분포가 안정적이라는 사실만으로 P(Y|X)도 안정적이라고 증명할 수 없습니다. 반대로 입력이 달라졌다는 경보만으로 정확도가 반드시 떨어졌다고 말할 수도 없습니다. 실제 정답이나 지연된 결과, 표본 감사를 연결해야 성능 변화를 판단할 수 있습니다.
‘둘 다 변화’는 공통·드문 입력이 50·50이고 정확도가 70%·40%여서 35+20=55%입니다. 구성과 조건별 성능이 함께 달라졌으므로 한 개의 전체 경보로는 조치 우선순위를 정하기 어렵습니다. 유형별 표본 수와 오류, 업무 비용을 분해해 어느 입력에서 무엇이 달라졌는지 확인해야 합니다.
새 환경에서도 학습 때의 관계가 유지된다는 가정이 있을 때는 중요도 가중처럼 입력 구성 차이를 보정하는 방법을 검토할 수 있습니다. 관계 자체가 달라졌다면 예전 라벨과 가중치만으로 해결되지 않을 수 있습니다. 새 라벨 수집, 재학습, 규칙 변경 확인이나 사람 검토가 필요합니다.
참고 · Aston Zhang, Zachary C. Lipton, Mu Li, Alexander J. Smola — 환경과 분포 변화 ↗
운영에서는 원인별 증거와 대응을 연결한다
NIST AI RMF는 실제 환경의 자료와 조건이 시간에 따라 달라져 기능과 신뢰성에 영향을 줄 수 있으며, 통제된 시험 결과가 운영 환경과 다를 수 있다고 설명합니다. 그래서 배포 전 한 번의 평균 점수보다 수명주기 전반의 시험·평가·검증·확인이 필요합니다. 위험한 하위집단과 사용 맥락도 함께 측정해야 합니다.
운영 기록에는 기준 기간, 입력 특징과 집단별 빈도, 라벨 도착 지연, 집단별 오류율, 업무 규정·센서·사용자 변화 시점을 남깁니다. 입력 변화 경보와 성능 변화 경보를 분리하고, 전자는 자료 파이프라인·대상 집단을, 후자는 정답 관계·모델·업무 규칙을 조사하도록 담당과 조치를 연결합니다.
이 활동의 네 결과는 정해 둔 산술표의 출력입니다. 특정 생성형 AI가 실제로 왜 답을 바꿨는지, 내부에서 무엇을 생각했는지를 보여 주지 않습니다. 실제 모델의 원인을 말하려면 버전과 입력을 고정한 반복 시험, 새 라벨, 비교 집단과 변경 기록이 필요합니다.
다른 상황으로 옮겨 보세요. 병원 환자 구성, 사기 거래 방식, 고객 문의 언어가 바뀔 때 어떤 입력 지표를 먼저 볼까요? 정답이 늦게 오는 동안 사용할 대리 지표와, 실제 성능을 확인할 표본 라벨을 따로 정해 보세요. 같은 평균 하락을 보더라도 입력 구성 변화와 관계 변화에 어떤 서로 다른 대응을 할지 적어 보세요.