답만 보여 주는 대신 ‘먼저 식을 세우고, 중간 계산을 한 뒤, 결론을 쓴다’는 풀이 예시를 언어모형에 주면 추론이 좋아질까요? Jason Wei와 동료들의 연쇄 사고 연구는 큰 언어모형에서 이런 예시가 여러 산술·상식·기호 과제의 성능을 끌어올릴 수 있다고 보고했습니다. 그러나 더 중요한 경고는 효과가 모든 모델에 똑같이 나타나지 않았다는 점입니다. 작은 모델은 그럴듯한 중간 문장을 더 길게 만들고도 논리적으로 틀릴 수 있었습니다.
연구를 읽는 두 가지 질문
어떤 모델과 과제를 비교했나?
저자 공개 원고 v6 전문을 확인했습니다. 연구진은 추가 학습 없이 few-shot 예시만 바꾸고 GPT-3의 text-ada·babbage·curie·davinci 계열(당시 추정 3.5억~1,750억 매개변수), LaMDA 4.22억~1,370억, PaLM 80억·620억·5,400억, UL2 200억과 Codex code-davinci-002를 비교했습니다. GSM8K, MultiArith, SVAMP 같은 산술 과제와 상식·기호 추론 과제를 사용했습니다. GPT-3 1,750억에서 GSM8K 정확도는 표준 촉진 15.6%에서 연쇄 사고 촉진 46.9%로 올랐지만, 이 숫자를 현재의 다른 모델이나 한국어 과제에 그대로 옮길 수는 없습니다. [1]
긴 풀이가 곧 올바른 추론인가?
규모가 충분히 커질 때 효과가 두드러졌고 작은 모델에서는 유창하지만 비논리적인 경로가 자주 나타났습니다. 오류 분석에서도 최종 답이 맞더라도 중간 추론이 틀린 우연 일치가 있었습니다. LaMDA의 정답 표본 50개 가운데 2개는 중간 경로가 잘못됐지만 답이 맞았습니다. 오답 표본 50개 중 46%는 비교적 작은 오류, 54%는 큰 오류로 분류됐습니다. 따라서 정답률, 풀이의 타당성, 예시 순서 민감도, 최신 모델 재현을 따로 확인해야 합니다. [1]
모형 크기와 풀이 단계 바꾸기
아래는 원 논문 모델을 재현하지 않는 LTCT 교육 모형입니다. 실제 AI나 유료 API를 호출하지 않으며, ‘작은·중간·큰 모형’과 풀이 단계 수를 바꾸면 가상 오류 위험과 예상 점수가 달라집니다.
가상 문제는 ‘상자 4개에 공 6개씩 있고 5개를 꺼냈다’입니다. 답은 19지만, ‘4+6-5’처럼 표면 숫자를 이어 붙인 경로도 문장 모양은 그럴듯할 수 있습니다. 교사는 최종 19뿐 아니라 4×6과 24-5라는 두 관계가 연결됐는지 확인합니다.
학생에게는 AI 풀이의 각 줄을 ‘문제에서 직접 주어진 사실, 계산 결과, 아직 검증되지 않은 결론’으로 분류하게 합니다. 같은 답을 낸 두 경로 가운데 어느 경로가 새 숫자에도 유지되는지 반례로 점검합니다.
모델 비교표에는 서비스 이름만 쓰지 않고 모델 버전, 연구 시점, 촉진 예시, 디코딩 조건을 함께 남깁니다. 풀이 문장이 길어지는 현상과 정확도 향상을 같은 지표로 합치지 않습니다.
모형 규모와 풀이 단계를 바꿔 보세요
실제 AI나 API를 호출하지 않는 규모 효과 교육 모형입니다.
| 처리 여력 | 예상 점수 | 오류 위험 |
|---|---|---|
| 1 | 13 | 87% |
정답과 각 중간 단계를 따로 검증하세요.
어디까지 말할 수 있을까요?
- 2010년대 말~2022년 모델과 영어 중심 벤치마크 결과여서 2026년 서비스 모델의 성능을 직접 말하지 않습니다.
- few-shot 예시의 내용·순서와 과제 오염 가능성, 디코딩 방식이 결과에 영향을 줄 수 있습니다.
- 정답률 향상만으로 사람이 읽는 중간 문장이 모델 내부 계산을 충실히 설명한다고 결론 내릴 수 없습니다.
원문에 근거한 한계와 LTCT의 적용 범위 검토입니다. [1]
교육 현장과 연결해 보면
AI에게 답만 보여 준 조건과 풀이 예시까지 보여 준 조건의 기록을 비교합니다. 학생은 문제 구조와 사용한 예시를 고정하고, 최종 답과 중간 추론의 정확성을 나누어 확인합니다.
숫자와 소재를 바꾼 문제를 추가해 예시의 적용 범위를 살펴봅니다. 교사는 모형·버전·설정에 따른 결과를 따로 기록하게 하고, 한 조건의 성공을 모든 AI의 성과로 확대하지 않습니다.
풀이가 길고 정답도 맞으면 추론이 검증된 것 아닌가요?
생각을 비교할 해설 펼치기
아닙니다. 잘못된 중간 이유가 우연히 맞는 답에 닿을 수 있습니다. 각 단계의 타당성과 변형 문제에서의 일관성을 별도로 확인해야 합니다.
원문과 출처 정보
한국어 제목은 이해를 돕기 위한 LTCT 번역입니다. 한글 제목 뒤 괄호에 원제를 함께 표기했습니다. 저자·학술지·원문 버전은 원문 서지정보를 기준으로 확인할 수 있습니다.
연쇄 사고 촉진은 대규모 언어모형의 추론을 이끌어 낸다 (Chain-of-Thought Prompting Elicits Reasoning in Large Language Models)
Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Brian Ichter, Fei Xia, Ed H. Chi, Quoc V. Le & Denny Zhou (2022). Advances in Neural Information Processing Systems 35.
- 자료 성격
- 동료심사 학회 논문 · 저자 공개 arXiv 원고
- 읽은 버전
- arXiv v6, 2023-01-10
- 확인 범위
- 공개 원고 전문에서 모델 계열·규모, 무추가학습 few-shot 조건, 과제, GSM8K 결과, 오류 분석과 한계를 확인
- 원문 확인일
이 글은 한국어 해설이며 원문 전문 번역이 아닙니다. 도식과 활동의 제작·재구성 범위는 각 그림과 본문에 표시했습니다. 자료 선정과 출처 기준
같은 연구 흐름에서 이어 읽기
같은 원문, 저자·연구 흐름, 공통 개념 태그를 기준으로 연결한 관련 해설입니다.