맞힌 개수에서 한 걸음 더 들어가기
공장의 품질 담당자가 분류기의 성적표를 받았습니다. 부품 20개 가운데 16개를 올바르게 판정했으니 정확도는 80퍼센트입니다. 그러나 출고 전에 결함을 잡으려는 담당자에게는 다음 질문이 더 중요합니다. 잘못 판정한 네 개는 정상 부품이었을까요, 결함 부품이었을까요? 전자는 다시 살피는 수고를 늘리고, 후자는 결함을 가진 부품을 그대로 통과시킬 수 있습니다.
실제 상태와 판정을 교차하면 결과는 네 칸이 됩니다. 결함을 검사 대상으로 잡은 경우, 결함을 통과시킨 경우, 정상을 검사 대상으로 잡은 경우, 정상을 통과시킨 경우입니다. 이 글에서는 차례로 ‘결함 포착’, ‘놓친 결함’, ‘불필요한 검사’, ‘정상 통과’라고 부릅니다. 실제와 판정을 교차한 표를 혼동행렬이라고 하며, 표의 행과 열이 무엇인지 먼저 읽어야 합니다.
가상 부품 20개에는 결함 4개와 정상 16개가 있습니다. 의심 점수가 70점 이상인 부품을 잡으면 결함 포착 1개, 놓친 결함 3개, 불필요한 검사 1개, 정상 통과 15개입니다. 기준을 40점으로 낮추면 각각 3개, 1개, 3개, 13개가 됩니다. 올바른 판정의 합은 두 기준 모두 16개지만 오류의 위치가 바뀌었습니다.
경계선을 옮기면 누가 건너오는가
아래 활동에서 기준점 70과 40을 번갈아 누르세요. 점수나 실제 결함 여부는 바뀌지 않습니다. 70점에서는 통과하던 부품 중 40점 이상인 부품이 검사 대상으로 옮겨 옵니다. 그 안에는 결함도 있고 정상도 있습니다. 기준점 변경은 같은 점수를 어떤 행동으로 연결할 것인지 정하는 일입니다. 점수를 산출하는 모델을 다시 학습하는 일과 구분할 수 있습니다.
결함 네 개 중 얼마나 잡았는지를 재현율이라고 부릅니다. 기준점 70에서는 1÷4로 25퍼센트, 40에서는 3÷4로 75퍼센트입니다. 반면 검사 대상으로 잡은 부품 중 실제 결함의 비율은 정밀도입니다. 이 예시에서는 각각 1÷2와 3÷6으로 모두 50퍼센트입니다. 두 지표는 출발하는 분모가 다릅니다. 하나는 실제 결함 전체에서, 다른 하나는 검사 대상으로 선정된 부품에서 출발합니다.
같은 점수 자료에서 기준을 낮추면 검사 대상 집합이 넓어지므로 잡는 결함과 불필요한 검사는 줄어들지 않습니다. 다만 정밀도가 모든 구간에서 일정하게 떨어지는 것은 아닙니다. 새로 들어온 부품 가운데 결함과 정상의 비율에 따라 달라집니다. 기준을 100점으로 올려 아무것도 잡지 않는 경우도 살펴보세요. 정확도는 여전히 80퍼센트지만 결함을 하나도 찾지 못하고, 정밀도는 분모가 0이라 계산할 수 없습니다.
좋은 기준에는 목적이 드러난다
놓친 결함 한 개의 부담을 5점, 불필요한 검사 한 개의 부담을 1점이라고 가정해 봅시다. 기준점 70의 부담 합계는 3×5+1=16점이고, 40에서는 1×5+3=8점입니다. 두 오류의 부담을 모두 1점으로 보면 두 기준은 4점으로 같습니다. 활동에서 부담 값을 바꾸며 어떤 기준을 선호하게 되는지 확인하세요. 이 점수는 실제 비용이 아니라 판단의 목적을 드러내기 위한 자체 설정입니다.
수치가 낮은 기준을 찾았다고 바로 현장에 적용할 수 있는 것은 아닙니다. 현장에서는 하루에 다시 검사할 수 있는 수량, 결함의 종류, 정상 부품의 재검사 부담도 고려해야 합니다. 이 활동은 재검사 이후의 결과나 작업 지연까지 계산하지 않습니다. ‘최적’이라는 말에는 무엇을 줄이려 했고 어떤 부담을 포함했는지 설명이 따라야 합니다.
실제 분류기의 기준을 조정할 때는 조정에 사용한 자료와 별개인 자료에서도 성능을 확인해야 합니다. 같은 20개를 보며 기준을 고르면 이 표에는 잘 맞아도 새로운 부품에 잘 맞는지는 알 수 없습니다. 따라서 성적표에는 정확도와 함께 실제 결함 수, 놓친 결함 수, 불필요한 검사 수, 기준점과 검증 조건을 남겨 보세요. AI의 판단을 읽는 일은 정답 비율 한 줄에서, 어떤 실수를 누구에게 남겼는지 묻는 일로 이어집니다.