같은 수학문제를 여러 증명 언어로 옮기면 인공지능(AI) 비교가 더 공정해질까?
PutnamBench는 640개 대학 수학문제를 Lean 4·Isabelle과 일부 Coq로 1,692회 형식화해 언어별 자동증명기의 강점과 난도를 비교했습니다.
PutnamBench: Evaluating Neural Theorem-Provers on the Putnam Mathematical Competition
연구와 학습, 시험과 도서를 한곳에서 찾습니다.
검색 결과마다 자료의 코너와 성격을 표시합니다. 제목을 먼저 살펴보고 그림 카드와 기존 본문으로 이어 가세요.

관심 주제로 찾아보기
PutnamBench는 640개 대학 수학문제를 Lean 4·Isabelle과 일부 Coq로 1,692회 형식화해 언어별 자동증명기의 강점과 난도를 비교했습니다.
PutnamBench: Evaluating Neural Theorem-Provers on the Putnam Mathematical Competition
GSM8K와 학습된 검증기는 풀이 생성과 후보 선택을 분리해 다단계 산술 추론을 개선하는 방법과 그 한계를 보여 줍니다.
Training Verifiers to Solve Math Word Problems
2026년 MA-ProofBench는 해석학 200문제를 학부·박사자격 수준으로 나눠 평가했고, 최고 일반 모델도 Pass@8 16%와 5%에 머물러 분야·난도별 검증의 필요성을 보였습니다.
MA-ProofBench: A Two-Tiered Evaluation of LLMs for Theorem Proving in Mathematical Analysis
프레임 문제는 행동의 결과뿐 아니라 바뀌지 않는 사실을 어떻게 다룰지 묻습니다. 관련 정보만 골라 생각하는 능력의 어려움을 살펴봅니다.
The Frame Problem
ReAct는 추론과 외부 행동을 엮는 방식을 제안했습니다. 계획 문장, 실행 요청, 실제 관찰을 나누면 긴 작업에서 어디까지 확인되었는지 읽을 수 있습니다.
ReAct: Synergizing Reasoning and Acting in Language Models
111–115 / 273편