일치한 수만 세면 놓치는 것
평가자 A와 B가 AI 답 열 개를 승인 또는 보류로 나눴다고 하자. 둘 다 승인 6개, 둘 다 보류 2개, 서로 다른 판정 2개면 관찰 일치율은 80%다. 숫자만 보면 꽤 높아 보인다.
NIST AI RMF Playbook의 Measure 영역은 목적에 맞는 지표와 허용 한계를 정하고 독립 평가자와 외부 관점을 평가에 참여시키며 측정 과정을 문서화하도록 제안한다. 평가자 수를 늘리는 것만큼 기준과 차이를 기록하는 일이 중요하다.
우연히 같아질 몫을 따로 계산하기
기본값에서 두 평가자는 각각 열 개 중 7개를 승인하고 3개를 보류한다. 승인 비율로 우연히 같은 판정을 할 기대값은 0.7×0.7, 보류는 0.3×0.3이므로 합은 58%다. 관찰 80%에서 기대 58%를 뺀 뒤 남은 가능 범위로 나누면 카파는 약 0.52다.
아래 활동에서 둘 다 승인·둘 다 보류·A만 승인·B만 승인한 사례 수를 바꿔 보자. 단순 일치율이 같아도 각 평가자의 승인 습관이 달라지면 기대 일치와 카파가 바뀐다.
계수 하나보다 불일치 사례를 다시 본다
카파는 우연 기대를 조정한 요약값이지만 평가 기준의 타당성을 자동으로 증명하지 않는다. 사례가 적거나 한 범주가 압도적으로 많으면 해석이 민감해질 수 있다.
실제 검수에서는 불일치한 사례를 함께 읽고 어떤 문구나 근거에서 갈렸는지 기록해야 한다. 이 활동은 두 범주와 두 평가자의 단순 모형이며 여러 등급, 가중치, 평가자 훈련 효과는 포함하지 않는다.