두 학생이 ‘홀수 두 개의 합은 짝수다’를 설명했습니다. 한 학생은 1+3=4와 5+7=12를 적었고, 다른 학생은 임의의 두 홀수를 2a+1과 2b+1로 두었습니다. 문장이 자신감 있고 계산도 맞는다는 이유만으로 두 답안에 같은 증명 점수를 주어도 될까요?
연구를 읽는 두 가지 질문
정답 이후의 증명 품질을 평가합니다
Petrov와 동료들의 「Proof or Bluff?」는 2025년 미국 수학올림피아드 여섯 문제에 대한 언어모델의 증명을 평가했습니다. 확인한 것은 2025년 9월 4일의 사전공개 5판입니다. 연구진이 구성한 채점 기준과 사람의 평가를 사용했으며, 원대회의 공식 채점표를 그대로 공개한 연구라고 표시하지 않습니다. [1]
자동 평가도 따로 검증합니다
본문 3.3절에서는 자동 평가 모델에 기준·검증된 풀이·채점 예시 등을 제공한 조건을 살폈습니다. 논문은 o3-mini와 Claude 3.7 Sonnet 평가에서 틀리거나 충분히 뒷받침되지 않은 추론을 높게 평가하는 문제가 있음을 보고합니다. 이는 해당 시점과 과제의 결과이며 모든 AI 채점이 언제나 실패한다는 보편 명제는 아닙니다. [1]
맞는 사례 두 개와 모든 경우의 증명
다음은 원대회 문제를 옮기지 않은 LTCT의 자체 과제입니다. 범위는 정수이며, 홀수는 어떤 정수 k에 대해 2k+1로 나타낼 수 있는 수라고 정의합니다. 답안 A는 1+3=4, 5+7=12를 제시한 뒤 ‘그러므로 항상 짝수’라고 말합니다. 계산은 맞지만 가능한 모든 홀수 쌍을 다루는 연결이 없습니다.
답안 B는 임의의 정수 a, b에 대해 두 홀수를 2a+1, 2b+1로 놓습니다. 합은 2(a+b+1)이고, a+b+1도 정수이므로 짝수의 정의를 만족합니다. 여기서는 대상의 일반성, 식의 변형, 정수라는 조건, 결론의 정의가 연결됩니다. 긴 답안인지보다 이 연결이 실제로 있는지가 채점의 핵심입니다.
그림은 두 답안의 근거 범위를 비교합니다. AI가 답안 A를 완전한 증명이라고 평가했다면 ‘계산이 옳다’라는 평가와 ‘모든 경우를 증명했다’라는 평가를 분리해서 재검토할 수 있습니다. 정해진 일부 예시만 확인한 답안에 일반 증명 점수를 주는 오류입니다. 이 자체 과제는 AI를 실행한 성능 평가 결과가 아닙니다.
실제 채점 도입 전에는 사람이 검토한 정답과 대표 오류 답안을 모으고, 자동 평가의 판정이 어디서 어긋나는지 확인해야 합니다. 기준에 맞는 답안에도 표현 차이가 있을 수 있으므로 한 모범 문장의 복사 여부를 채점하지 않습니다. 어려운 경계 사례나 평가 간 불일치는 검토할 근거와 함께 사람이 확인할 수 있게 남기는 편이 좋습니다.
어디까지 말할 수 있을까요?
- 논문의 모델·실행 조건·문항 수준을 확인한 범위에서 해석합니다. 한국어 초중등 답안이나 협회 시험에서 같은 오류율이 나온다고 주장하지 않습니다.
- 본문의 교육용 두 답안에 자동 채점 모델을 실행하지 않았습니다. 연구 결과와 자체 채점 기준 설명을 분리했습니다.
원문에 근거한 한계와 LTCT의 적용 범위 검토입니다. [1]
교육 현장과 연결해 보면
수업에서는 채점 기준을 주장 범위, 근거의 정확성, 핵심 연결로 나누어 설명할 수 있습니다. 자동 피드백은 어느 문장의 어떤 연결이 부족한지를 가리키도록 설계합니다.
입학·진급처럼 중요한 결정에 쓰이는 점수를 산출하기 전에는 해당 시험과 언어의 검토 자료로 오판 유형과 일관성을 확인해야 합니다. 이 연구 소개만으로 자동 채점의 적합성을 승인하지 않습니다.
답안 A의 계산이 모두 맞아도 왜 일반 증명으로는 부족한가요?
생각을 비교할 해설 펼치기
두 사례는 그 두 경우를 확인합니다. 임의의 홀수 쌍이 같은 성질을 갖는다는 연결은 따로 필요합니다. 답안 B는 임의의 정수 a, b를 사용해 홀수의 정의와 짝수의 정의를 이어 줍니다.
원문과 출처 정보
한국어 제목은 이해를 돕기 위한 LTCT 번역입니다. 한글 제목 뒤 괄호에 원제를 함께 표기했습니다. 저자·학술지·원문 버전은 원문 서지정보를 기준으로 확인할 수 있습니다.
증명인가 허세인가? 2025년 미국 수학올림피아드에서 언어모델 평가하기 (Proof or Bluff? Evaluating LLMs on 2025 USA Math Olympiad)
Ivo Petrov, Jasper Dekoninck, Lyuben Baltadzhiev, Maria Drencheva, Kristian Minchev, Mislav Balunović, Nikola Jovanović, Martin Vechev (2025). arXiv:2503.21934, v5.
- 자료 성격
- 국외 연구진 사전공개 논문
- 읽은 버전
- 초판 2025-03-27 · 확인판 v5, 2025-09-04
- 확인 범위
- 문항·사람 채점 절차와 3.3절 자동 평가의 기준 제공 조건 및 오류 분석을 확인. 현재 모델 재실험이나 한국어 시험 타당화는 하지 않음.
- 원문 확인일
- 영구 식별
- DOI 미기재 · 아래 보존판 주소로 안내
이 글은 한국어 해설이며 원문 전문 번역이 아닙니다. 도식과 활동의 제작·재구성 범위는 각 그림과 본문에 표시했습니다. 자료 선정과 출처 기준