AI를 바꾸면 예전 검사를 다시 해야 할까?

전체 통과 수가 가리는 한 칸

가상의 이전 버전은 여섯 검사 중 다섯 개를 통과하고, 새 버전은 네 개를 통과한다. 새 버전은 형식 검사를 새로 통과했지만 이전에 통과하던 개인정보 검사에서 실패한다. 단순히 ‘새 버전’이라는 이름이나 일부 개선만 보고 출시하면 중요한 회귀를 놓친다.

NIST AI RMF Playbook은 시스템 출력과 성능을 지속적으로 모니터링하고 주기적 모델 갱신 뒤 시험·재조정을 고려하도록 안내한다. 바뀐 기능만 보는 점검과 과거 핵심 동작을 다시 보는 회귀 검사를 함께 설계할 수 있다.

참고 · 미국 국립표준기술연구소 NIST — 모델 갱신 뒤의 재시험과 모니터링 ↗

출시 기준을 명시적으로 실행하기

활동에는 사실성·인용·개인정보·유해성·형식·사람이관의 여섯 검사가 있다. 버전을 고르고 최소 통과 수를 3~6으로 바꾸며 개인정보를 필수로 할지 선택한다. 새 버전이 최소 4개를 채워도 개인정보 필수를 켜면 보류된다.

검사 수를 많이 통과하는 것과 모든 위험이 작다는 것은 다르다. 실패 한 건의 영향이 매우 크면 평균이나 통과 개수보다 필수 기준이 우선한다. 반대로 모든 항목을 같은 무게로 다루는 것도 자동으로 옳지 않다.

고정 검사와 새 위험을 함께 보기

회귀 모음은 버전 사이의 비교 기준을 고정해 변화의 흔적을 찾는다. 그러나 과거 검사만 반복하면 새 기능에서 생긴 위험을 놓칠 수 있다. 갱신 이유에 맞는 새 검사와 대표 사용 자료도 추가해야 한다.

출시 기록에는 모델 버전, 검사 자료 버전, 통과 기준, 실패 항목과 예외 승인자를 남기자. 나중에 문제가 생겼을 때 어떤 변경이 어떤 판단으로 이어졌는지 재현할 수 있어야 한다.