논리적 사고

평가 항목의 반영 비율을 바꾸면 AI 순위도 달라질까?

두 AI의 항목별 점수는 그대로 두고 정확성·안전성·속도의 반영 비율만 바꿉니다. 어떤 항목을 더 중요하게 보느냐에 따라 순위가 달라지는지 확인합니다.

그림에서 무엇을 볼까요?

가상 AI인 A와 B의 정확성·안전성·속도 점수는 고정되어 있습니다. 각 항목의 반영 비율을 바꾸면 두 AI의 종합 점수와 순위가 달라질 수 있습니다.

두 AI 중 A는 정확성 점수가 높고 B는 안전성과 속도 점수가 높다고 합시다. 어느 AI가 더 좋은지 종합 순위를 정하려면, 세 항목을 각각 얼마나 반영할지 먼저 정해야 합니다. 이때 사용하는 중요도의 수치를 가중치라고 합니다.

미국 국립표준기술연구소(NIST)의 AI 위험관리 지침도 평가의 목적과 대상에 맞게 측정 항목을 고르고 그 이유를 기록하도록 권고합니다. 아래 점수와 반영 비율은 이 원리를 연습하기 위해 직접 만든 가상 사례입니다.

계산 연습용 가상 점수입니다. 각 항목은 100점 만점이며 높을수록 좋다고 정합니다. A: 정확성 92점·안전성 65점·속도 70점. B: 정확성 80점·안전성 90점·속도 85점. 세 비중을 5·3·2로 정하면 각각 50%·30%·20%를 반영합니다.

정확성·안전성·속도의 반영 비율을 정하고 그 이유를 적어 보세요. 이어서 비율을 조금 바꿨을 때도 같은 AI가 앞서는지 확인해 보세요.