논리적 사고

풀이 예시를 보여 주면 작은 인공지능(AI)도 추론을 잘하게 될까?

Wei 등의 연쇄 사고 촉진 연구를 모델 규모별로 읽고, 풀이 형식과 실제 추론 능력을 구분합니다.

그림에서 무엇을 볼까요?

작은·중간·큰 모형에서 표준 답과 풀이 예시의 가상 성능 차이가 다르게 나타나는 계단형 그래프.

아래는 원 논문 모델을 재현하지 않는 LTCT 교육 모형입니다. 실제 AI나 유료 API를 호출하지 않으며, ‘작은·중간·큰 모형’과 풀이 단계 수를 바꾸면 가상 오류 위험과 예상 점수가 달라집니다.

가상 문제는 ‘상자 4개에 공 6개씩 있고 5개를 꺼냈다’입니다. 답은 19지만, ‘4+6-5’처럼 표면 숫자를 이어 붙인 경로도 문장 모양은 그럴듯할 수 있습니다. 교사는 최종 19뿐 아니라 4×6과 24-5라는 두 관계가 연결됐는지 확인합니다.

2010년대 말~2022년 모델과 영어 중심 벤치마크 결과여서 2026년 서비스 모델의 성능을 직접 말하지 않습니다.

few-shot 예시의 내용·순서와 과제 오염 가능성, 디코딩 방식이 결과에 영향을 줄 수 있습니다.

정답률 향상만으로 사람이 읽는 중간 문장이 모델 내부 계산을 충실히 설명한다고 결론 내릴 수 없습니다.

풀이가 길고 정답도 맞으면 추론이 검증된 것 아닌가요?