논리적 사고

두 평가자가 많이 동의하면 AI 검사는 믿을 만할까?

두 평가자의 2×2 판정표를 바꾸어 단순 일치율과 우연 기대 일치, 카파를 비교합니다.

그림에서 무엇을 볼까요?

두 평가자가 승인과 보류를 판정한 열 사례의 일치 8개와 불일치 2개를 2대2 표로 나타낸 그림

평가자 A와 B가 AI 답 열 개를 승인 또는 보류로 나눴다고 하자. 둘 다 승인 6개, 둘 다 보류 2개, 서로 다른 판정 2개면 관찰 일치율은 80%다. 숫자만 보면 꽤 높아 보인다.

NIST AI RMF Playbook의 Measure 영역은 목적에 맞는 지표와 허용 한계를 정하고 독립 평가자와 외부 관점을 평가에 참여시키며 측정 과정을 문서화하도록 제안한다. 평가자 수를 늘리는 것만큼 기준과 차이를 기록하는 일이 중요하다.

교육용 일치도 계산 · 관찰 일치율과 두 평가자의 승인·보류 비율로 기대 일치율을 구하고 κ=(관찰−기대)÷(1−기대)를 계산합니다. 사례 독립성과 동일 기준 적용을 가정합니다.

동료와 같은 답 세 개를 독립적으로 평가하고, 일치한 수와 갈린 이유를 함께 적어 보세요.