퍼즐을 풀다가 첫 선택이 잘못되었음을 깨닫고 앞 단계로 돌아가 본 적이 있을 것입니다. 언어모델도 하나의 긴 답을 끝까지 쓰는 대신 중간 후보를 여럿 만들고 갈림길을 다시 선택하도록 구성할 수 있습니다. 이번 글은 완성된 답안의 사후 수선과 구별하여, 풀이 도중의 분기·선택·되돌리기를 살펴봅니다.
연구를 읽는 두 가지 질문
중간 풀이를 탐색 상태로 만듭니다
Yao 등의 생각의 나무 연구는 중간 단계의 텍스트를 하나의 상태로 보고 후보 생성·상태 평가·탐색 알고리즘을 결합합니다. 과제에 따라 중간 단계는 수식 한 줄, 단어, 글쓰기 계획이 될 수 있습니다. 폭 우선 또는 깊이 우선 탐색을 사용하며 언어모델의 평가를 다음 후보 선택에 활용합니다. 확인한 공개본은 arXiv v2, 2023-12-03입니다. [1]
무엇을 시험했으며 무엇은 남아 있나요?
연구는 24 만들기, 창작 글쓰기, 작은 낱말 퍼즐에서 당시 모델과 프롬프트 조건을 비교해 탐색 방식의 이점을 보고했습니다. 성능은 후보 수·탐색 예산·과제별 평가 방식과 연결됩니다. 모델이 어떤 경로를 유망하다고 평가했다는 사실은 그 경로의 논리적 타당성을 증명하지 않습니다. 현재 모든 모델이나 모든 수학 문제에 대한 우위를 검증한 자료도 아닙니다. [1]
2, 3, 4, 6으로 24 만들기
LTCT의 새 퍼즐은 숫자 2, 3, 4, 6을 각각 한 번 사용하고 사칙연산과 괄호로 24를 만드는 것입니다. 가능한 첫 선택으로 6÷2=3과 6−4=2를 놓아 봅니다. 첫 경로에는 3,3,4가 남고, 다음에 3+3=6, 6×4=24로 이어집니다. 모든 원래 숫자를 한 번씩 썼는지는 완성식 (6÷2+3)×4에서 확인할 수 있습니다.
둘째 첫 선택이 반드시 실패한다는 뜻은 아닙니다. 아직 검토하지 않은 다른 경로가 있을 수 있습니다. 이 그림은 전체 해 공간을 열거하지 않고 실제로 성공하는 한 경로와 미검토 갈림길을 구분합니다. 유망도만 낮게 판단한 경로를 “수학적으로 불가능”이라고 표시하지 않는 것이 중요합니다.
표에서는 각 단계마다 남은 수를 기록합니다. 중간 결과만 모으면 원래 수를 중복 사용하거나 빠뜨려도 24를 만들 수 있기 때문입니다. 계산 결과가 24인지와 사용 규칙이 맞는지는 각각 확인해야 합니다. 이 예시는 원 논문의 문제나 시스템 출력을 가져온 것이 아니라 LTCT가 만든 손검산 가능한 탐색 설명입니다.
어디까지 말할 수 있을까요?
- 후보와 호출을 늘리면 비용과 시간이 증가합니다. 같은 탐색 예산에서 비교했는지 확인하지 않고 정답률만 비교하면 공정한 평가가 어렵습니다.
- 언어모델의 자기 평가는 형식 검증기가 아닙니다. 창작 글쓰기처럼 평가 기준이 다른 과제의 성공을 산술적 증명과 동일하게 해석하지 않습니다.
원문에 근거한 한계와 LTCT의 적용 범위 검토입니다. [1]
교육 현장과 연결해 보면
조작형 연습에서는 학생이 갈림길에 표시를 남기고 되돌아온 이유를 설명하도록 할 수 있습니다. 정답 경로뿐 아니라 버린 경로를 왜 버렸는지, 계산 오류인지 규칙 위반인지 단순 미검토인지를 구별하면 탐색을 더 명확하게 관찰할 수 있습니다.
자동 출제나 해설에 적용하려면 최종 식을 별도 계산기로 확인하고, 숫자 사용 횟수와 연산 규칙을 검증해야 합니다.
AI가 “이 경로는 불가능하다”고 말하면 탐색에서 지워도 될까요?
생각을 비교할 해설 펼치기
말의 근거를 확인해야 합니다. 모든 허용 연산을 검사한 판정인지, 언어모델의 유망도 추정인지가 다릅니다. 후자라면 미탐색 경로를 잘못 버릴 수 있습니다. 학습용 화면에서는 “검증된 불가능”과 “우선순위가 낮음”을 다른 상태로 표시하는 편이 정확합니다.
원문과 출처 정보
한국어 제목은 이해를 돕기 위한 LTCT 번역입니다. 한글 제목 뒤 괄호에 원제를 함께 표기했습니다. 저자·학술지·원문 버전은 원문 서지정보를 기준으로 확인할 수 있습니다.
생각의 나무: 대규모 언어모델의 숙고형 문제 해결 (Tree of Thoughts: Deliberate Problem Solving with Large Language Models)
Shunyu Yao; Dian Yu; Jeffrey Zhao; Izhak Shafran; Thomas L. Griffiths; Yuan Cao; Karthik Narasimhan (2023). NeurIPS 2023; Princeton University·Google DeepMind.
- 자료 성격
- 학술 논문 공개본
- 읽은 버전
- v1 2023-05-17; 확인본 v2 2023-12-03
- 확인 범위
- 2~4절의 기존 방법·후보 생성·평가·탐색·실험, 논의 및 비용 관련 부록 확인. 모델·코드 재실행은 하지 않음
- 원문 확인일
이 글은 한국어 해설이며 원문 전문 번역이 아닙니다. 도식과 활동의 제작·재구성 범위는 각 그림과 본문에 표시했습니다. 자료 선정과 출처 기준