인공지능(AI)에게 여러 번 물어 가장 많은 답을 고르면 더 정확할까?
자기일관성 방법은 다양한 풀이 경로에서 최종 답을 모읍니다. 정답률 개선과 답의 논리적 보증을 구별하고, 반복 답변의 독립성도 따져 봅니다.
그림에서 무엇을 볼까요?
다섯 가상 풀이 중 세 개가 24, 두 개가 28. 가장 많은 답 24와 그 답의 정답 여부가 다름을 표시한 표.
LTCT 가상 예시에서 다섯 풀이의 답은 24, 24, 28, 24, 28입니다. 답만 세면 24가 세 번으로 가장 많습니다. 하지만 첫째·둘째·넷째 풀이가 모두 “마지막 구간은 이동 시간에서 뺀다”는 같은 잘못된 전제를 사용했다면 세 표는 세 개의 독립된 확인과 다릅니다.
그림은 풀이 번호와 답, 확인할 전제를 나란히 보여 줍니다. 이 예시는 실제 논문 실험의 관측값이 아니며 어느 답이 정답인지도 주어진 수치만으로는 알 수 없습니다. 원문 문제와 규칙을 제시하지 않았기 때문입니다. 가장 많은 답과 검증된 정답을 구분하는 연습에 초점을 둡니다.
함께 확인할 점
반복 생성된 풀이들은 동일한 학습 자료와 모델을 공유하므로 독립적인 전문가 투표로 취급할 수 없습니다. 표 수에서 진실일 확률을 바로 계산하지 않습니다.
여러 경로를 얻어 고르는 성능과 한 번 생성한 성능은 계산 예산이 다릅니다. 모델 비교에서는 생성 횟수와 토큰·시간 비용을 함께 공개해야 합니다.
생각해 볼 질문
다섯 답변 중 세 개가 같은 답이면 그 답이 참일 확률은 60%일까요?
익숙한 내용이면 논리도 더 잘 보일까?
정답을 잘 고르는 인공지능(AI)는 반례도 잘 만들까?
필요 없는 숫자 하나가 인공지능(AI)의 답을 흔들까?