정책 변경 전후를 같은 시험 묶음으로 비교합니다
AI 안전 규칙을 바꾸고 위험 요청의 차단률만 보면 개선처럼 보일 수 있습니다. 하지만 안전한 요청을 잘못 거절하는 횟수도 함께 바뀔 수 있습니다. 두 오류는 서로 다른 영향을 만듭니다.
이 글의 가상 기본값에서 변경 전 정책은 위험 10건 중 7건을 막고 안전 10건 중 8건을 허용합니다. 변경 후 정책은 위험 9건을 막지만 안전 요청은 6건만 허용합니다.
놓친 위험과 불필요한 거절을 따로 셉니다
변경 전에는 위험 놓침 3건, 불필요한 거절 2건입니다. 변경 후에는 위험 놓침 1건, 불필요한 거절 4건입니다. 전체 오류 수는 둘 다 5건이지만 오류의 종류가 달라졌습니다.
어떤 오류를 더 무겁게 볼지는 사용 맥락에 따라 달라집니다. 비용 가중치를 바꾸면 같은 결과표에서도 선호하는 정책이 달라질 수 있습니다. 가중치는 먼저 정하고 이유를 기록해야 합니다.
회귀검사는 좋아진 항목과 나빠진 항목을 함께 찾습니다
NIST AI RMF는 배포된 AI가 의도대로 작동하는지 지속적인 검사와 관찰로 확인하는 관점을 제시합니다. 정책 변경 뒤에는 새 위험 사례뿐 아니라 예전에 잘 처리한 사례도 다시 시험해야 합니다.
변경 전후의 자료 분포와 난도가 같아야 직접 비교하기 쉽습니다. 실제 운영에서는 집단별 영향, 심각도, 사람 검토, 새로 등장한 사례도 함께 확인해야 합니다. 이 계산의 20건만으로 실제 정책 안전성을 판단할 수는 없습니다.
참고 · NIST AI Risk Management Framework 1.0 — 배포된 AI의 지속적인 검사와 관찰 ↗