AI가 한 번 더 검토했다는 문장은 안심을 줍니다. 그러나 검토가 도움이 되려면 틀린 답을 고치는 이익과 맞는 답을 잘못 바꾸는 손실을 함께 보아야 합니다. 여러 번 수정했다는 기록만으로 정확도가 높아졌다고 판단하기 어렵습니다. 자기교정 연구는 이 차이를 평가 설계의 중심에 놓습니다.
연구를 읽는 두 가지 질문
교정 과정에 어떤 정보를 주었는가?
황 등의 연구는 외부 피드백 없이 모델이 자신의 답을 고치는 내적 자기교정을 검토합니다. 확인한 2023-10-03 v1은 정답 여부를 알고 올바른 답에서 멈추는 조건과, 그 정답 정보를 제거한 조건을 구분합니다. GPT-3.5와 GPT-4를 추론 과제에서 비교했으며, 정답 정보가 교정 과정에 들어가는지를 실험 조건의 중요한 차이로 다룹니다. [1]
맞은 답이 틀린 답으로 바뀌는 손실
v1의 표 3과 답 수정 분석은 외부 정답 신호가 없는 조건에서 성능이 개선되지 않거나 하락하는 사례를 보고합니다. 오답을 정답으로 고치는 경우뿐 아니라 정답을 오답으로 바꾸는 경우가 생기기 때문입니다. 연구 제목은 자기교정이 영원히 불가능하다는 정리가 아닙니다. 모델과 프롬프트, 과제, 피드백 조건이 달라지면 별도의 평가가 필요합니다. [1]
수정 횟수 대신 네 가지 전이를 세기
LTCT의 가상 평가에는 문제 20개가 있습니다. 첫 답에서 정답 12개, 오답 8개였다고 합시다. 재검토 뒤 정답 12개 중 9개는 유지되고 3개는 오답으로 바뀝니다. 오답 8개 중 2개는 정답이 되고 6개는 여전히 오답입니다. 최종 정답은 9+2=11개로, 정확도는 60%에서 55%로 내려갑니다.
그림의 네 칸은 정답 유지 9, 정답→오답 3, 오답→정답 2, 오답 유지 6입니다. 이는 원논문의 수치를 전재한 것이 아니라 개념을 보여 주는 가상 전이표입니다. ‘두 문제를 고쳤다’는 보고만 하면 세 문제를 새로 틀린 손실이 가려집니다.
평가자는 정답표로 이 네 칸을 계산할 수 있습니다. 그러나 실제 자기교정 과정에 그 정답표를 미리 제공했다면 다른 실험입니다. 답변을 평가하는 사람이 아는 정보와 답변을 고치는 AI가 받은 정보를 분리하여 기록해야 합니다.
어디까지 말할 수 있을까요?
- 확인한 자료는 2023년 v1이며 후속 v2 및 최신 추론 모델을 실험한 결과가 아닙니다. 현재 모든 서비스에 동일한 결론을 적용하지 않습니다.
- 피드백의 품질과 비용, 비교 프롬프트, 중단 규칙이 중요합니다. 반복 수가 다르면 같은 계산 자원을 사용한 비교인지도 살펴야 합니다.
원문에 근거한 한계와 LTCT의 적용 범위 검토입니다. [1]
교육 현장과 연결해 보면
AI가 만든 문항을 검수할 때 ‘재검토 완료’라는 문구보다 진리표·계산·출처 대조처럼 독립적으로 확인 가능한 기준을 남길 수 있습니다. 수정 전후의 답과 변경 이유를 보존하면 개선과 퇴행을 함께 찾을 수 있습니다.
학습 활동에서도 풀이를 고치기 전에 어떤 새 근거가 생겼는지 적게 할 수 있습니다. 다만 AI 실험 결과를 사람의 답 수정 습관에 곧바로 일반화해서는 안 됩니다.
가상 평가에서 오답 두 개를 고쳤는데도 정확도가 낮아진 이유는 무엇일까요?
생각을 비교할 해설 펼치기
처음 맞힌 세 개를 틀리게 바꾼 손실이 있기 때문입니다. 최종 정답 수는 처음 정답 12에서 손실 3을 빼고 개선 2를 더한 11입니다. 검토의 가치는 변경 자체보다 최종 결과와 검증 근거로 판단해야 합니다.
원문과 출처 정보
한국어 제목은 이해를 돕기 위한 LTCT 번역입니다. 한글 제목 뒤 괄호에 원제를 함께 표기했습니다. 저자·학술지·원문 버전은 원문 서지정보를 기준으로 확인할 수 있습니다.
대규모 언어모델은 아직 추론을 스스로 교정하기 어렵다 (Large Language Models Cannot Self-Correct Reasoning Yet)
Jie Huang; Xinyun Chen; Swaroop Mishra; Huaixiu Steven Zheng; Adams Wei Yu; Xinying Song; Denny Zhou (2023). arXiv cs.CL · 공개 연구논문.
- 자료 성격
- 학술 연구논문
- 읽은 버전
- 확인한 arXiv v1 2023-10-03; 후속 v2 2024-03-14와 구분
- 확인 범위
- v1 공개 본문 3.1~3.2절의 정답 정보 사용 여부, 표 1~3, 답 수정 분석과 한계 확인; 2026 모델 성능 검증이 아님
- 원문 확인일
이 글은 한국어 해설이며 원문 전문 번역이 아닙니다. 도식과 활동의 제작·재구성 범위는 각 그림과 본문에 표시했습니다. 자료 선정과 출처 기준