그림이 포함된 정리를 인공지능(AI)가 풀었다면 형식 검증도 통과할까?
MATP-BENCH는 그림과 텍스트가 함께 있는 1,056개 정리를 Lean 4·Coq·Isabelle 형식화와 묶어 멀티모달 모델의 증명 능력을 평가한다.
그림에서 무엇을 볼까요?
문제 그림과 문장에서 형식 명세를 거쳐 증명 후보와 커널 검사로 이어지는 네 단계 파이프라인.
LTCT 예시입니다. 그림 모서리에 작은 사각형이 있어 ∠A=90°임을 나타냅니다. 모델이 이를 무시하고 일반 삼각형으로 형식화하면 뒤의 증명이 아무리 문법적으로 좋아도 원 문제를 푼 것이 아닙니다.
반대로 형식 명세가 정확해도 커널이 증명 코드를 거절하면 완료가 아닙니다. ‘시각 해석 통과’, ‘명세 보존 통과’, ‘커널 검사 통과’를 따로 기록해야 합니다.
함께 확인할 점
확인본은 2025-06-06 arXiv v1으로 동료심사 논문이 아니며 이후 버전과 수치가 달라질 수 있습니다.
데이터셋의 언어·도형 유형과 세 증명기 생태계가 실제 수학 전체를 대표하지 않습니다.
생각해 볼 질문
커널이 증명을 받아들였으면 원래 그림 문제도 반드시 맞게 풀었을까요?
