쉬운 문항이 많으면 AI의 약한 능력이 가려질까?

평균은 무엇을 많이 세는지에 달려 있다

보통 과제 80개, 중간 과제 20개, 드문 과제 5개가 있다고 하자. 모든 문항을 똑같이 세면 보통 과제의 성능이 전체 점수를 지배한다.

드문 과제 정확도가 낮아도 전체 문항 평균은 높게 남을 수 있다. 점수 하나만 보면 어떤 능력이 약한지 사라진다.

가중 방식을 바꾸면 질문도 바뀐다

문항 가중 평균은 무작위 문항 하나를 맞힐 가능성에 가깝다. 세 과제군 평균을 똑같이 평균하면 각 과제군을 같은 중요도로 본다.

scikit-learn의 balanced accuracy는 클래스별 recall을 평균한다. 아래 활동은 클래스가 아니라 과제군을 동일 가중하므로 원 지표와 구분해야 한다.

참고 · scikit-learn developers — 평균이 가리는 분류 성능 ↗

두 점수를 함께 공개한다

평가표에는 전체 평균뿐 아니라 과제군별 문항 수와 정확도, 최저 성능을 함께 적는 편이 낫다. 실제 사용 빈도와 피해의 크기도 가중치 선택에 영향을 준다.

가상 문항은 독립이고 난도가 과제군 안에서 같다고 단순화했다. 표본이 적으면 불확실성도 커지므로 신뢰구간과 반복 평가가 필요하다.