논리적 사고

인공지능(AI)가 여러 풀이를 만든 뒤 따로 검사하면 정답률이 오를까?

GSM8K와 학습된 검증기는 풀이 생성과 후보 선택을 분리해 다단계 산술 추론을 개선하는 방법과 그 한계를 보여 줍니다.

한 문제에서 세 후보 풀이가 생성되고 별도 검증기가 점수를 매겨 한 후보를 선택하지만, 후보 없음과 검증 오류 경로도 함께 표시되어 있다.
LTCT 자체 제작 시스템 흐름도. GSM8K 검증기 구조를 가상 후보로 설명하며 논문의 성능 그래프를 복제하지 않았습니다.
그림 크게 열기 ↗SVG 저장

그림에서 무엇을 볼까요?

한 문제에서 세 후보 풀이가 생성되고 별도 검증기가 점수를 매겨 한 후보를 선택하지만, 후보 없음과 검증 오류 경로도 함께 표시되어 있다.

LTCT 가상 문제 “연필 3자루 묶음이 4개이고 2자루를 썼다. 몇 자루 남았나?”에 생성기가 10, 14, 46을 내놓았다고 합시다. 검증기는 계산 사슬과 최종 답의 일치도를 바탕으로 10을 가장 높게 고릅니다.

하지만 세 후보가 모두 틀렸거나 검증기가 잘못된 사슬을 선호하면 실패합니다. 그림의 점수는 원 논문 결과가 아닌 역할 설명용입니다.

함께 확인할 점

GSM8K는 영어 초등 수학 문장제 중심이며 실제 학교 평가 전체나 형식 논증 능력을 대표하지 않습니다.

검증 개선은 완전한 논리적 보증이 아닙니다. 생성·검증 모델의 오류가 상관될 수 있고 데이터 누출과 분포 변화도 따로 점검해야 합니다.

생각해 볼 질문

검증기가 최고 점수를 준 풀이면 반드시 맞을까요?

← 논리적 사고 그림 더 보기