인공지능(AI)가 여러 풀이를 만든 뒤 따로 검사하면 정답률이 오를까?
GSM8K와 학습된 검증기는 풀이 생성과 후보 선택을 분리해 다단계 산술 추론을 개선하는 방법과 그 한계를 보여 줍니다.
그림에서 무엇을 볼까요?
한 문제에서 세 후보 풀이가 생성되고 별도 검증기가 점수를 매겨 한 후보를 선택하지만, 후보 없음과 검증 오류 경로도 함께 표시되어 있다.
LTCT 가상 문제 “연필 3자루 묶음이 4개이고 2자루를 썼다. 몇 자루 남았나?”에 생성기가 10, 14, 46을 내놓았다고 합시다. 검증기는 계산 사슬과 최종 답의 일치도를 바탕으로 10을 가장 높게 고릅니다.
하지만 세 후보가 모두 틀렸거나 검증기가 잘못된 사슬을 선호하면 실패합니다. 그림의 점수는 원 논문 결과가 아닌 역할 설명용입니다.
함께 확인할 점
GSM8K는 영어 초등 수학 문장제 중심이며 실제 학교 평가 전체나 형식 논증 능력을 대표하지 않습니다.
검증 개선은 완전한 논리적 보증이 아닙니다. 생성·검증 모델의 오류가 상관될 수 있고 데이터 누출과 분포 변화도 따로 점검해야 합니다.
생각해 볼 질문
검증기가 최고 점수를 준 풀이면 반드시 맞을까요?
