입력 분포가 바뀌면 AI 오류도 같은 방식으로 늘어날까?
전체 정확도 82%가 66%로 같게 떨어져도 입력 구성 80·20→40·60의 변화와 조건별 정확도 90%→70%의 관계 변화는 다른 진단임을 비교합니다.
그림에서 무엇을 볼까요?
기준 82퍼센트, 입력 구성 변화 66퍼센트, 관계 변화 66퍼센트, 둘 다 변화 55퍼센트를 공통 입력과 드문 입력의 건수 및 정확도로 나누어 보여 주는 네 카드 그림
연안 여객선 운영실이 문서 분류 AI를 시험한다고 합시다. 기준 평가 100건은 공통 형식 80건과 드문 형식 20건입니다. 조건별 정확도가 각각 90%와 50%라면 맞힌 수는 72건과 10건, 전체 82건입니다. 이 숫자는 실제 운항 시스템의 결과가 아니라 두 종류의 변화를 분리하려는 자체 모형입니다.
몇 달 뒤 드문 형식의 문서가 늘어 공통 40건, 드문 60건이 됐다고 합시다. 각 형식에서의 정확도 90%와 50%는 그대로입니다. 맞힌 수는 36+30=66건입니다. 입력 X의 구성 P(X)는 바뀌었지만, 이 고정 표에서는 각 입력 종류와 정답 사이의 조건부 성능이 유지됩니다. 이를 입력 또는 공변량 변화의 교육용 사례로 봅니다.
함께 확인할 점
100건짜리 네 표를 바꾸어 공통·드문 입력의 구성과 조건별 정확도를 곱합니다. 실제 모델 호출이나 숨은 사고 관찰이 아닌 고정 교육용 계산입니다.
생각해 볼 질문
내가 운영하거나 사용하는 AI 하나를 골라 입력 구성 경보 2개, 실제 성능을 확인할 지연 라벨 1개, 입력 변화와 관계 변화에 각각 취할 조치 1개씩 적어 보세요.
순서를 바꿔도 같은 효과를 볼 수 있을까?
AI가 약한 ETag와 강한 ETag를 같은 검증자로 써도 될까?
AI 정확도 90퍼센트와 60퍼센트를 평균 내면 75퍼센트일까?