반복의 합의는 오류를 줄일 수 있지만 정답표는 아니다
복잡한 문제를 AI에게 여러 번 풀게 했더니 답이 A, A, A, B, C로 나왔다고 합시다. 가장 자주 나온 A를 고르면 한 번의 우연한 실수를 피할 수 있을 듯합니다. 실제로 여러 생성 결과를 모아 최빈 답을 선택하는 방식은 특정 조건에서 단일 생성보다 성능을 높일 수 있습니다.
Wang과 동료들의 자기일관성 연구는 하나의 고정된 풀이만 따라가기보다 여러 보이는 풀이를 표집하고, 최종 답의 다수결을 취하는 방법을 시험했습니다. 산술·상식 추론 등 연구가 정한 과제와 모델에서 개선을 보고했지만, 반복 합의가 언제나 사실을 보증한다는 명제는 아닙니다.
다섯 출력이 A, A, A, A, B여도 네 개의 A가 같은 잘못된 전제에서 나왔다면 다수결은 오류를 강화합니다. 학습 자료의 편향, 질문의 유도 표현, 공통 계산 실수는 출력 사이의 독립성을 낮춥니다. 표가 많아 보여도 근거의 뿌리가 하나일 수 있습니다.
그러므로 일치율은 ‘이 생성 절차가 얼마나 같은 답으로 모였는가’를 보여 주는 진단값입니다. 사실성은 외부 정답, 계산 재현, 원문 자료, 실제 실행 같은 별도의 기준으로 확인해야 합니다. 다수결은 검증을 대신하는 권위가 아니라 검증 대상을 고르는 한 도구입니다.
참고 · Xuezhi Wang, Jason Wei, Dale Schuurmans 외 — 여러 보이는 풀이에서 답을 집계하는 자기일관성 ↗
다양한 출력과 독립적인 근거를 구분한다
활동의 첫 상태에서는 A가 3표이고 외부 정답도 A입니다. 이 경우 다수결이 맞았지만, 같은 입력·같은 모델에서 나온 세 A를 독립 연구 세 편처럼 세어서는 안 됩니다. 표현이나 풀이 순서가 달라도 공통 학습 패턴과 같은 도구를 공유할 수 있습니다.
둘째 상태에서는 A가 4표이지만 외부 정답은 B입니다. ‘같은 오해 반복’이라는 표시는 높은 합의와 정확한 답이 갈라질 수 있음을 보여 줍니다. 틀린 전제가 다섯 설명에 반복되는지 찾고, 원문이나 직접 계산으로 그 전제를 먼저 검사해야 합니다.
셋째 상태에서는 A와 B가 각각 2표이고 C가 1표입니다. 이때 더 많이 생성해 억지로 승자를 만드는 것보다 질문에 빠진 조건을 찾는 편이 유용할 수 있습니다. Bartsch와 동료들은 여러 규칙이 가능한 정수열 문제에서 모델의 반복 답과 대안 답, 자기평가를 조사했고, 일치성이 모호함과 보정 문제를 없애지 않음을 보였습니다.
이 연구 결과를 모든 AI와 모든 질문으로 확대할 수는 없습니다. 다만 정답이 하나로 정의된 과제인지, 답을 판정할 외부 기준이 있는지, 반복 출력이 실제로 서로 다른 접근을 제공하는지 확인해야 한다는 점을 분명하게 합니다.
몇 번 같았는지보다 무엇이 달라졌는지를 기록한다
반복 검사를 설계할 때에는 모델·버전·프롬프트·생성 설정을 고정하거나 의도적으로 바꾼 항목을 기록합니다. 같은 설정을 다섯 번 실행하는 검사와 서로 다른 출처를 사용해 교차검증하는 검사는 답이 다섯 개라는 겉모습만 같을 뿐 근거의 다양성이 다릅니다.
정답이 계산 가능한 문제라면 사람이 식을 다시 계산하고 단위를 확인합니다. 최신 사실이라면 날짜가 맞는 공식 원문을 열고 주장마다 대조합니다. 코드나 절차라면 격리된 환경에서 실행해 결과와 실패 조건을 확인합니다. 외부 기준과 맞지 않으면 다수결의 표 수보다 공통 오류의 원인을 찾습니다.
또 반복할 때마다 답이 크게 흔들린다면 바로 ‘AI가 무능하다’고 끝낼 필요는 없습니다. 질문이 모호한지, 보기 순서가 영향을 주는지, 서로 다른 해석이 정당한지 나눠 봅니다. 불안정성은 추가 검토가 필요한 신호이지 특정 원인을 혼자 확정하는 진단명이 아닙니다.
다른 상황에 적용할 질문은 네 가지입니다. 정답은 외부에서 어떻게 확인할 수 있는가, 같은 답들이 공통 전제를 공유하는가, 반복 사이에 실제로 달라진 것은 무엇인가, 틀렸을 때 비용은 얼마인가. 비용이 큰 의료·법률·안전 판단에서는 높은 합의가 사람의 전문 검토를 대체하지 않습니다.