논리적 사고

쉬운 문항이 많으면 AI의 약한 능력이 가려질까?

과제군별 문항 수와 드문 과제 정확도를 바꾸어 전체 문항 평균과 과제군 동일 가중 평균을 비교합니다.

그림에서 무엇을 볼까요?

많은 쉬운 문항과 적은 드문 문항이 문항 가중 평균과 과제군 동일 가중 평균으로 나뉘는 그림

보통 과제 80개, 중간 과제 20개, 드문 과제 5개가 있다고 하자. 모든 문항을 똑같이 세면 보통 과제의 성능이 전체 점수를 지배한다.

드문 과제 정확도가 낮아도 전체 문항 평균은 높게 남을 수 있다. 점수 하나만 보면 어떤 능력이 약한지 사라진다.

자체 가상 자료 · 보통 90%, 중간 70%, 드문 과제의 문항 수·정확도를 바꿉니다. 과제군 동일 가중 평균은 balanced accuracy의 생각과 닮았지만 동일한 지표는 아닙니다.

사용 중인 평가 점수에서 문항 수가 많은 영역과 실제로 중요한 영역이 같은지 확인해 보세요.