논리적 사고

수학 자료를 더 읽은 언어모델은 증명도 믿을 수 있을까?

Llemma는 수학·과학·형식 코드로 계속 사전학습해 여러 과제에서 강한 성능을 보였지만 정답성과 기계검증은 구분됩니다.

그림에서 무엇을 볼까요?

수학 자료 사전학습에서 후보 풀이가 생성되고 독립 계산·형식 커널 두 검증 문을 거쳐 게시 상자로 들어간다.

수학 특화 모델이 10개 중 7개를 맞히고 일반 모델이 5개를 맞혀도, 새 한 문제의 출력은 여전히 검증이 필요합니다. 평균 성능은 개별 답의 인증서가 아닙니다.

그림은 사전학습에서 후보 생성으로 가는 경로와, 별도 검증기를 통과해야 게시되는 경로를 분리합니다.

벤치마크 성능은 실제 수업에서의 안전성·설명 가능성·공정성을 직접 측정하지 않습니다.

형식 코드 학습과 형식 증명 성공 사이의 인과 기여는 여러 데이터 혼합 때문에 완전히 분리되지 않습니다.

수학 전용 모델이라는 이름만으로 풀이를 신뢰해도 될까요?