수학 인공지능(AI) 시험은 정답만 모으면 충분할까?
MATH 데이터셋은 7개 분야·5단계 난이도의 경시 문제와 단계별 풀이를 함께 제공하며 평가 범위와 풀이 검사의 중요성을 보여 줍니다.
그림에서 무엇을 볼까요?
12,500문제가 7,500 훈련과 5,000 시험으로 나뉘고 아래에 7개 분야, 5단계 난이도, 단계별 풀이 세 축이 배치되어 있다.
LTCT 재구성 그림은 12,500문제를 7,500 훈련과 5,000 시험으로 나누고, 7개 분야·5단계 난이도·단계별 풀이가 교차함을 보여 줍니다.
정답 점수만 같아도 쉬운 분야에 몰린 모델과 난이도 전반에서 고른 모델은 다릅니다. 풀이 검사는 최종 답 우연 일치를 발견하는 별도 축입니다.
함께 확인할 점
2021년 GPT-2·GPT-3 계열 결과를 2026년 모델의 성능으로 소개해서는 안 됩니다. 공개 이후의 데이터 오염 가능성도 고려해야 합니다.
단계별 풀이가 있다고 해서 모든 풀이가 유일하거나, 자연어 풀이의 모든 단계가 형식적으로 검증된 것은 아닙니다.
생각해 볼 질문
AI가 MATH에서 높은 정답률을 보이면 풀이도 모두 타당하다고 볼 수 있을까요?
익숙한 내용이면 논리도 더 잘 보일까?
정답을 잘 고르는 인공지능(AI)는 반례도 잘 만들까?
필요 없는 숫자 하나가 인공지능(AI)의 답을 흔들까?