자연어 증명에 참고문헌을 붙이면 자동으로 검증된 증명이 될까?
NaturalProver는 배경 정리와 정의를 조건으로 자연어 증명 단계를 생성해 사람 평가를 개선했지만, 형식 검사기가 없는 자연어 증명은 여전히 인간 검토가 필요했습니다.
대학생의 사람 평가에서 기준선보다 좋아졌습니다대학 수준 수학 학생의 평가에서 NaturalProver는 미세조정 GPT-3보다 다음 단계와 전체 증명의 질을 높였습니다. 일부 2~6단계의 짧은 정리를 증명했고, 다음 단계 제안이 정확하고 유용하다는 평정은 40%를 넘었습니다. 이는 당시 공개본과 평가 설정의 결과이며 현재 모든 언어모델의 일반 성능으로 읽을 수 없습니다.
왜 이 결과가 나왔나요?
- 양화사 개념으로 연결했습니다.
- 대학생의 사람 평가에서 기준선보다 좋아졌습니다에서 관련 문맥을 찾았습니다.
- 본문과 출처가 갖춰진 자료를 우선했습니다.
