정확도가 같아도, AI의 실수는 다르다

그림에서 무엇을 볼까요?

기준점 70과 40의 분류 결과를 실제 결함 여부와 판정으로 나눈 두 표. 정확도는 모두 80퍼센트지만 놓친 결함은 3개와 1개

공장의 품질 담당자가 분류기의 성적표를 받았습니다. 부품 20개 가운데 16개를 올바르게 판정했으니 정확도는 80퍼센트입니다. 그러나 출고 전에 결함을 잡으려는 담당자에게는 다음 질문이 더 중요합니다. 잘못 판정한 네 개는 정상 부품이었을까요, 결함 부품이었을까요? 전자는 다시 살피는 수고를 늘리고, 후자는 결함을 가진 부품을 그대로 통과시킬 수 있습니다.

실제 상태와 판정을 교차하면 결과는 네 칸이 됩니다. 결함을 검사 대상으로 잡은 경우, 결함을 통과시킨 경우, 정상을 검사 대상으로 잡은 경우, 정상을 통과시킨 경우입니다. 이 글에서는 차례로 ‘결함 포착’, ‘놓친 결함’, ‘불필요한 검사’, ‘정상 통과’라고 부릅니다. 실제와 판정을 교차한 표를 혼동행렬이라고 하며, 표의 행과 열이 무엇인지 먼저 읽어야 합니다.