수련회 참가비를 계산할 때 사람 수, 버스 수, 버스 비용, 전체 비용을 동시에 구하면 헷갈립니다. 먼저 알아야 다음 값을 구할 수 있는 항목을 정하면 계산이 정돈됩니다. 언어모델에도 이런 작은 문제와 중간 답의 순서를 보여 주면, 예시보다 복잡한 문제를 풀 수 있을까요? 이 글은 답을 여러 번 뽑는 다수결이나 풀이 갈림길을 탐색하는 방법과 구별되는 문제 분해 연구를 살펴봅니다.
연구를 읽는 두 가지 질문
분해하기와 순서대로 풀기를 나눕니다
Zhou 등의 ICLR 2023 논문은 복잡한 질문을 쉬운 하위 질문들로 나눈 다음, 앞에서 얻은 답을 다음 질문의 입력에 포함하는 least-to-most prompting을 제안했습니다. 별도 학습이나 미세조정 대신 예시가 든 프롬프트를 사용합니다. 일반적인 긴 풀이 한 번과 달리, 하위 문제의 답을 재사용하는 구조가 핵심입니다. [1]
쉬운 예시를 넘어서는 범위를 시험했습니다
연구는 마지막 글자 이어 붙이기, 명령을 행동열로 바꾸는 SCAN, 수학 문장제에서 기존 프롬프트 방식과 비교했습니다. 길이가 긴 입력으로의 일반화에서 개선을 보였지만 모든 과제의 개선 폭이 같지는 않았습니다. SCAN 오류 분석에는 부분 명령을 맞게 해석하고도 ‘뒤에’라는 결합 순서를 잘못 적용한 사례가 있습니다. 이 글은 2022년 최초 공개와 구별하여 2023년 4월 16일의 arXiv v3 공개 본문을 확인했습니다. [1]
버스 수를 먼저 구해야 비용을 계산합니다
LTCT 자체 예시입니다. 참가자 43명을 한 대에 20명까지 타는 버스로 옮기고, 버스 한 대의 비용은 18만 원, 참가자 한 명의 식비는 1만 원이라고 합시다. 버스 수는 43÷20=2.15를 올림한 3대입니다. 버스 비용은 3×18=54만 원이고 식비는 43만 원이므로 총비용은 97만 원입니다.
여기서 식비 43만 원은 버스 수를 몰라도 구할 수 있습니다. 반면 버스 비용 54만 원은 먼저 3대라는 답을 얻어야 합니다. 아래 표는 단계마다 필요한 입력과 출력을 적어, 문장의 나열 순서와 계산의 의존 순서를 구별합니다. 원문의 수치나 실제 모델 출력을 가져온 표가 아닙니다.
만약 첫 단계에서 버스를 2대로 잘못 잡으면 뒤의 곱셈은 정확해도 총비용은 79만 원이라는 틀린 값이 됩니다. 단계가 많고 계산식이 매끄럽다는 사실만으로 답을 믿을 수 없습니다. 2대의 정원이 40명이라 43명을 태울 수 없다는 조건 검사를 중간 답에 적용해야 합니다. 올림을 하는 이유는 숫자의 모양이 아니라 전원이 탑승해야 한다는 요구입니다.
어디까지 말할 수 있을까요?
- 논문은 분해 예시가 다른 분야로 쉽게 일반화되지 않는다고 명시합니다. 올바른 분해를 얻는 것 자체가 어려운 문제이며, 쉬운 하위 질문을 많이 만들었다고 원래 질문을 해결한 것은 아닙니다.
- 당시 모델·과제·프롬프트 조건의 결과입니다. 현재 서비스의 성능이나 사람의 교육 효과를 보장하지 않으며, 생성된 중간 답을 검증하는 증명 장치도 아닙니다.
원문에 근거한 한계와 LTCT의 적용 범위 검토입니다. [1]
교육 현장과 연결해 보면
수업에서는 먼저 계산하지 않고 ‘어느 답이 어느 질문에 필요한가’를 표시하는 문항을 만들 수 있습니다. 버스 수와 식비는 독립적으로 계산 가능하지만 총비용은 두 비용을 기다려야 합니다.
AI 보조 풀이를 사용할 때도 중간 답 옆에 단위·제약·입력 출처를 적게 하고, 틀린 하위 문제를 고친 뒤 어떤 후속 답까지 다시 계산해야 하는지 묻는 구성이 적절합니다. 계산을 더 많이 하는 것과 문제를 더 잘 나누는 것을 분리해 살핍니다.
버스 수를 3대에서 4대로 바꾸면 식비도 다시 계산해야 할까요?
생각을 비교할 해설 펼치기
참가자 수와 1인 식비가 그대로라면 식비 43만 원은 유지됩니다. 버스 비용만 72만 원으로 바뀌어 총비용은 115만 원이 됩니다. 어떤 값이 바뀌었는지뿐 아니라 그 값에 의존하는 후속 계산을 찾아야 합니다. 비용이 바뀌지 않는 가지까지 무조건 다시 계산하는 것은 의존관계를 이해했다는 증거가 아닙니다.
원문과 출처 정보
한국어 제목은 이해를 돕기 위한 LTCT 번역입니다. 한글 제목 뒤 괄호에 원제를 함께 표기했습니다. 저자·학술지·원문 버전은 원문 서지정보를 기준으로 확인할 수 있습니다.
작은 문제부터 풀어 언어모델의 복잡한 추론 돕기 (Least-to-Most Prompting Enables Complex Reasoning in Large Language Models)
Denny Zhou; Nathanael Schärli; Le Hou; Jason Wei; Nathan Scales; Xuezhi Wang; Dale Schuurmans; Claire Cui; Olivier Bousquet; Quoc Le; Ed Chi (2023). ICLR 2023; Google Research, Brain Team.
- 자료 성격
- 학술 논문 공개본
- 읽은 버전
- 최초 공개 2022-05-21; 확인본 arXiv v3 2023-04-16; ICLR 2023 논문
- 확인 범위
- 2절 분해·순차 해결 방법, 3절 과제·비교 결과·SCAN 오류 분석, 5절 한계 및 공개 이력 확인. 부록 전체나 현재 모델 성능을 검증하지 않음
- 원문 확인일
이 글은 한국어 해설이며 원문 전문 번역이 아닙니다. 도식과 활동의 제작·재구성 범위는 각 그림과 본문에 표시했습니다. 자료 선정과 출처 기준