AI가 같은 답을 여러 번 하면 더 믿을 수 있을까?
다섯 번의 보이는 출력과 외부 정답을 나란히 두고, 높은 일치율이 도움이 되는 조건과 같은 오류가 반복되는 경우를 구분합니다.
그림에서 무엇을 볼까요?
다섯 답 가운데 A가 네 번 나와 다수결은 A지만 외부 정답 B와 어긋나는 세 단계 그림
복잡한 문제를 AI에게 여러 번 풀게 했더니 답이 A, A, A, B, C로 나왔다고 합시다. 가장 자주 나온 A를 고르면 한 번의 우연한 실수를 피할 수 있을 듯합니다. 실제로 여러 생성 결과를 모아 최빈 답을 선택하는 방식은 특정 조건에서 단일 생성보다 성능을 높일 수 있습니다.
Wang과 동료들의 자기일관성 연구는 하나의 고정된 풀이만 따라가기보다 여러 보이는 풀이를 표집하고, 최종 답의 다수결을 취하는 방법을 시험했습니다. 산술·상식 추론 등 연구가 정한 과제와 모델에서 개선을 보고했지만, 반복 합의가 언제나 사실을 보증한다는 명제는 아닙니다.
함께 확인할 점
A·B·C는 고정된 자체 교육용 출력입니다. 실제 모델을 호출하거나 숨은 사고를 관찰하지 않으며, ‘풀이’는 화면에 생성된 설명문만 뜻합니다.
생각해 볼 질문
AI 답을 반복 생성해 본 사례 하나를 골라, 같은 답의 개수·공유한 전제·독립적인 외부 확인 방법을 각각 한 줄로 적어 보세요.
순서를 바꿔도 같은 효과를 볼 수 있을까?
AI가 약한 ETag와 강한 ETag를 같은 검증자로 써도 될까?
AI 정확도 90퍼센트와 60퍼센트를 평균 내면 75퍼센트일까?