답 하나를 곧장 고르면 놓치는 길이 생긴다
네 수 2·3·4·6을 한 번씩 써서 24를 만드는 문제를 생각해 봅시다. 첫 계산에서 6×4를 고르면 곧바로 답에 닿지만, 6÷3이나 4−2에서 시작해도 이후 연산에 따라 답이 생길 수 있습니다. 첫 후보만 따라가면 빠르지만 그 선택이 막혔을 때 돌아갈 근거가 남지 않습니다. 추론 트리는 현재 문제에서 가능한 다음 단계를 여러 갈래로 펼치고, 각 갈래를 같은 기준으로 검사하기 위한 생각그림입니다.
여기서 트리는 LLM의 내부 계산 경로를 직접 관찰한 그림으로 해석할 수 없습니다. 사용자가 후보 생성·검사·선택 절차를 따로 실행하여 남긴 외부 기록입니다. 한 노드는 확인 가능한 중간 상태를, 선은 그 상태를 만든 행동을, 잎은 완성된 답이나 중단 사유를 나타냅니다. 이 구분을 지키면 트리를 설계 도구와 감사 기록으로 사용할 수 있습니다.
뿌리·가지·잎·점수·가지치기를 구분한다
트리의 맨 위 뿌리는 원문 문제와 제약 조건입니다. 자식 노드는 한 번의 선택 뒤 얻은 새 상태이고, 부모와 자식을 잇는 선에는 ‘무엇을 했는가’를 적습니다. 갈래가 둘 이상 생기면 같은 깊이의 후보가 됩니다. 더 이어 갈 행동이 없거나 답을 확정한 노드는 잎입니다. 잎에는 ‘성공’만 쓰지 말고 최종 식, 근거 문장, 위반한 조건처럼 독자가 다시 확인할 내용을 남깁니다.
점수는 후보 사이의 비교 기준을 수치나 등급으로 적은 값입니다. 정확성·근거 충족·남은 비용을 섞어 한 숫자로 만들면 무엇이 좋은지 흐려집니다. 가능하면 기준을 따로 표시하고, 어떤 기준으로 가지를 잘랐는지도 기록합니다. 가지치기는 탐색 비용을 줄이기 위한 선택입니다. 따라서 잘린 후보를 복구할 수 있도록 이유와 시점을 남깁니다.
탐색 절차와 모델 내부 계산을 섞지 않는다
Tree of Thoughts 연구는 언어 모델이 여러 중간 후보를 생성하고 평가하며 앞이나 뒤로 탐색하도록 구성한 추론 프레임워크를 제안했습니다. 이 방식은 프롬프트, 외부 제어 코드, 평가 호출이 함께 만든 탐색 절차입니다. 화면에 보이는 후보 문장은 그 절차가 남긴 산출물이며, 모델 내부의 모든 활성값이나 실제 인과 경로를 보여 주지는 않습니다.
따라서 ‘모델이 이렇게 생각했다’보다 ‘이 시스템이 이 후보들을 생성하고 이 기준으로 보존했다’라고 씁니다. 사람이 직접 만든 교육용 트리도 같은 원칙을 따릅니다. 실제 호출을 하지 않았다면 준비된 예시라고 표시하고, 실제 실행이라면 모델·설정·시각·입력·평가 규칙을 함께 남겨야 재현과 비교가 가능합니다.
근거를 찾는 답변은 주장별로 갈라서 검증한다
학교 행사 날짜를 묻는 답변을 만든다고 합시다. 첫 갈래는 학교 공지, 둘째는 학사일정 PDF, 셋째는 이전 연도 게시물입니다. 각 갈래는 ‘올해 자료인가’, ‘날짜가 본문에 직접 적혀 있는가’, ‘변경 공지가 뒤에 있는가’를 검사합니다. 최신 공식 공지와 학사일정이 같은 날짜를 가리키면 근거를 합칠 수 있고, 이전 연도 게시물은 연도가 달라 중단합니다.
이 트리는 문서를 많이 찾았다는 사실보다 주장과 근거의 관계를 보여 줍니다. 후보 노드에는 URL만 적지 않고, 그 자료에서 확인한 문장과 적용 연도를 요약합니다. 평가 노드에는 출처 등급, 날짜, 주장 일치 여부를 나눠 적습니다. 답변을 선택한 뒤에도 탈락 자료를 삭제하지 않으면 왜 제외했는지 설명할 수 있습니다.
글의 개요는 독자 질문에 답하는 순서로 가지를 평가한다
‘교내 휴대폰 사용 규칙’을 설명하는 글에서는 원인 중심 개요, 이해관계자 중심 개요, 시간 순서 개요가 후보가 될 수 있습니다. 독자가 규칙의 이유를 묻는다면 원인 중심 개요가 유리하고, 학생·교사·학부모의 책임을 비교한다면 이해관계자 중심 개요가 맞습니다. 글의 목적을 평가 기준으로 삼아야 문장이 매끄럽다는 이유만으로 엉뚱한 구조를 고르는 일을 줄일 수 있습니다.
개요 트리의 노드는 완성 문장보다 ‘이 절이 답할 질문’을 담는 편이 좋습니다. 한 갈래를 고른 뒤에는 각 절이 같은 일을 반복하는지, 반론과 예외가 빠졌는지 검사합니다. 필요하면 보존한 두 갈래를 결합하되, 결합 결과는 18회에서 다룰 추론 그래프처럼 공통 단계를 다시 쓰는 구조가 더 알맞을 수 있습니다.
후보 수보다 상태·행동·검사 기준을 먼저 지정한다
LLM에 ‘생각 과정을 모두 보여 달라’고 요청하면 길고 검증하기 어려운 서술이 나올 수 있습니다. 대신 독자가 확인할 수 있는 후보 요약과 평가표를 요구합니다. 원문, 목표, 지켜야 할 조건, 한 노드에 담을 상태, 선에 적을 행동, 평가 기준, 최대 깊이, 단계별 보존 수, 중단 조건, 출력 형식을 분리해 적습니다. 숨은 내부 추론을 추정하거나 사실처럼 쓰지 말라는 제한도 넣습니다.
아래 요청문은 재사용을 위해 만든 문안이며 실제 모델 실행 결과와 구분합니다. 모델이 내놓은 트리는 사람이 검토할 초안입니다. 특히 후보가 서로 같은 상태를 다른 말로 반복하는지, 점수의 근거가 있는지, 잘린 갈래에 유효한 답이 남아 있지 않은지 사람이 다시 확인해야 합니다.
다음 문제의 풀이 후보를 검증 가능한 추론 트리로 정리해 줘. 원문: [문제 붙여넣기] 목표: [최종 답의 조건] 제약: [사용 가능한 자료·금지 조건] 노드: 현재까지 확인된 상태만 한 문장으로 기록 선: 다음 상태를 만든 행동을 동사로 기록 평가: 정확성 / 제약 충족 / 확인 비용을 각각 표시 탐색: 최대 깊이 3, 단계마다 2개 후보 보존 중단: 제약 위반, 중복 상태, 근거 부족 출력: 노드 ID·부모 ID·행동·상태·평가·보존 여부 표 모델 내부의 숨은 사고를 추정하지 말고, 독자가 확인할 후보 요약만 작성해 줘.
후보 생성과 후보 평가를 다른 칸에 기록한다
준비된 예시에서 1단계 후보 A는 공식 문서 두 곳을 비교하고, B는 한 자료만 요약하며, C는 기억에 의존합니다. 평가자는 A의 근거 충족을 높게, B의 비용을 낮게, C의 재현성을 낮게 표시합니다. 여기서 생성자가 스스로 매긴 ‘좋음’ 표시는 최종 검증이 아닙니다. 평가 기준을 별도 칸에 두고 근거 링크나 계산 결과를 연결해야 합니다.
동점 처리도 미리 정합니다. 정확성이 같으면 비용이 낮은 후보를 고를지, 서로 다른 근거를 가진 두 후보를 함께 보존할지 정해야 실행마다 결과가 흔들리지 않습니다. 최종 선택 뒤에는 선택 이유 한 줄과 탈락 이유 한 줄을 남깁니다. 이 기록이 있어야 다음 번 평가 기준을 고칠 수 있습니다.
| 후보 | 상태 | 정확성 | 비용 | 결정 |
|---|---|---|---|---|
| A | 공식 자료 2개 일치 | 높음 | 중간 | 보존 |
| B | 공식 자료 1개 | 중간 | 낮음 | 보조 |
| C | 출처 없는 기억 | 확인 불가 | 낮음 | 중단 |
가지가 많아도 기준이 없으면 비교할 수 없다
잘못 그린 트리는 같은 뜻의 후보를 표현만 바꾸어 늘리고, 선에 행동을 적지 않으며, 잎에 ‘좋음’만 표시합니다. 깊이와 보존 수가 정해지지 않아 호출 비용도 예측하기 어렵습니다. 반대로 처음부터 한 후보만 남기면 트리의 장점인 대안 비교가 사라집니다. 모든 갈래를 끝까지 확장하는 방식도 작은 문제에서만 감당할 수 있습니다.
수정할 때는 먼저 중복 상태를 합치고, 각 선에 변화시킨 행동을 씁니다. 다음으로 평가 기준별 점수와 근거를 분리합니다. 최대 깊이, 단계별 보존 수, 총 호출 한도, 시간 한도를 적고 한도에 닿았을 때의 종료 상태를 둡니다. 정답 검증기를 만들 수 있는 문제에서는 모델의 자기평가보다 계산기나 규칙 검사기를 우선합니다.
행동·근거·중단 조건이 없습니다.
같은 기준으로 비교하고 중복 상태를 합칩니다.
분기 수와 깊이를 바꾸어 탐색 비용을 계산한다
아래 실습은 실제 LLM을 호출하지 않는 교육용 계산입니다. 매 단계에서 만드는 후보 수와 깊이를 고르면, 가지치기 없이 전체 트리를 펼칠 때의 노드 수를 계산합니다. 이어서 1단계 뒤부터 단계마다 몇 개만 보존할지 정하면 실제로 평가할 노드 수가 얼마나 줄어드는지 비교할 수 있습니다. 노드 수는 모델 호출 수와 완전히 같지는 않지만 탐색 규모를 미리 점검하는 데 유용합니다.
기본값 분기 3·깊이 3에서는 뿌리를 포함한 전체 노드가 40개입니다. 첫 단계의 세 후보를 평가한 뒤 매 단계 두 후보만 보존하면 평가 노드는 16개가 됩니다. 보존 수를 1로 줄이면 비용은 더 낮아지지만 첫 평가가 틀렸을 때 다른 길을 복구하기 어렵습니다. 수치 옆에 정확성 위험과 호출 한도를 함께 적어 설계를 결정하세요.