논리적 사고

고등학교 경시문제를 잘 푸는 증명 인공지능(AI)가 대학원 해석학도 잘 풀까?

2026년 MA-ProofBench는 해석학 200문제를 학부·박사자격 수준으로 나눠 평가했고, 최고 일반 모델도 Pass@8 16%와 5%에 머물러 분야·난도별 검증의 필요성을 보였습니다.

그림에서 무엇을 볼까요?

학부 100문제와 박사 100문제의 두 층, 최고 일반 모델 16퍼센트와 5퍼센트를 비교한 막대 개념도

벤치마크 A가 초등 대수 100문제이고 B가 측도론·함수해석 100문제라면 둘 다 20문제를 풀어도 요구된 지식과 증명 길이가 다릅니다. 총점만으로 ‘동일한 수학 능력’이라고 할 수 없습니다.

Pass@8 성공은 여덟 후보 가운데 하나가 검증됐다는 뜻입니다. 실제 서비스가 한 번만 답하거나 계산 예산을 제한하면 체감 성능이 다릅니다. 문제 수준, 시도 수, 시간과 검증기를 함께 보고해야 합니다.

2026-06-11 arXiv v1 사전논문으로 동료심사 전이며 이후 버전과 모델 결과가 바뀔 수 있습니다.

200문제와 특정 Mathlib 환경의 결과이며 자연어 수학 능력이나 모든 해석학 연구 능력을 대표하지 않습니다.

Pass@8 16%를 ‘한 번 답해서 16% 정답’으로 읽으면 왜 틀릴 수 있나요?