미로의 매 걸음이 통로 안에 있어도 출구에 도착하지 못할 수 있습니다. 증명도 비슷합니다. 각 문장이 전제에서 올바르게 따라오더라도 목표와 무관한 가지를 계속 선택하면 전체 풀이가 완성되지 않습니다.
연구를 읽는 두 가지 질문
합성 세계의 정답 경로를 형식적으로 검사했습니다
Saparov와 He의 연구는 1차논리로 만든 가상 세계에서 자연어 연쇄추론을 요구하는 PrOntoQA를 제시합니다. 생성된 사고 연쇄를 기호 증명으로 다시 분석할 수 있어, 최종 정답뿐 아니라 각 단계와 계획을 분리했습니다. 이 글은 arXiv v4 공개본의 데이터 생성, 실험, 오류 분석을 확인했습니다. [1]
개별 단계보다 가지 선택이 문제였습니다
연구 당시 InstructGPT와 GPT-3는 가상의 내용에서도 올바른 개별 연역 단계를 상당히 만들었지만, 여러 유효한 단계가 있을 때 가능한 경로를 체계적으로 탐색하는 데 어려움을 보였습니다. 저자들은 이를 탐욕적 증명 선택으로 분석했습니다. [1]
정답과 설명의 연결을 검사할 수 있습니다
형식 세계에서는 자연어 단계가 실제 규칙에 대응하는지 확인할 수 있습니다. 그러나 합성 문장의 성능을 현실의 복잡한 논증 이해로 그대로 옮길 수는 없습니다. 최신 AI 전체의 현재 성능을 말하는 연구도 아닙니다. [1]
읽을 때 확인할 검수 기준
AI 연구는 확인한 모델·데이터·공개본 날짜를 현재의 모든 모델로 확대하지 않습니다. 최종 정답, 생성한 중간 단계, 외부 검사기의 판정, 사람이 확인한 의미 충실성을 각각 구분합니다. LTCT 적용안에서는 모델 출력의 유창함보다 전제 의존 경로와 반례에 대한 수정 가능성을 우선 검수합니다. [1]
목표에 닿는 가지를 먼저 찾기
LTCT 자체 예시입니다. 전제는 ‘모든 라온은 미르’, ‘모든 미르는 누리’, ‘모든 라온은 밝음’, ‘밝은 것은 따뜻함’입니다. 목표가 ‘라온은 누리’라면 라온→미르→누리 경로가 필요합니다. 라온→밝음→따뜻함도 유효하지만 목표에는 닿지 않습니다.
풀이자는 각 단계의 유효성에 더해 현재 목표와의 거리를 표시합니다. 막힌 가지에서 돌아오는 기능을 따로 평가하면 ‘한 단계 추론’과 ‘증명 계획’을 구분할 수 있습니다.
증명 계획을 평가하려면 가능한 규칙 수를 인위적으로 늘린 조건과 목표에 직접 닿는 규칙이 하나뿐인 조건을 비교할 수 있습니다. 같은 깊이의 문제라도 갈림길 수가 많으면 탐색 부담이 커집니다. 모델이 첫 번째로 떠오른 유효 단계를 반복하는지, 목표에서 거꾸로 필요한 중간 결론을 찾는지, 막힌 경로를 표시하고 되돌아오는지 기록합니다. 최종 정답률이 같아도 방문한 노드 수와 불필요한 단계 수는 다를 수 있습니다. 이 측정은 사람과 AI 모두에 적용 가능하지만 내부 사고가 동일하다는 결론을 뜻하지는 않습니다.
어디까지 말할 수 있을까요?
- 결과는 2022~2023년 특정 모델과 합성 데이터에 관한 것이며 2026년 모델 성능으로 일반화하지 않습니다.
- 사고 연쇄가 형식 증명과 맞아도 자연어 전제 자체의 사실성·관련성은 별도 문제입니다.
원문에 근거한 한계와 LTCT의 적용 범위 검토입니다. [1]
교육 현장과 연결해 보면
인공지능 활용 수업의 평가 문항에서 단계별 타당성 점수와 목표 도달 점수를 별도 산출할 수 있습니다.
시각추론 활동에서는 탐색 트리의 방문 경로를 남기고, 유효하지만 불필요한 단계와 잘못된 단계를 다른 색으로 표시할 수 있습니다.
목표와 무관한 참인 결론을 한 단계 추가하면 증명이 틀린 걸까요?
생각을 비교할 해설 펼치기
그 단계 자체는 유효할 수 있지만 증명 계획에는 불필요합니다. 제한 시간·길이에서는 성능을 떨어뜨릴 수 있으므로 두 평가를 나누어야 합니다.
원문과 출처 정보
한국어 제목은 이해를 돕기 위한 LTCT 번역입니다. 한글 제목 뒤 괄호에 원제를 함께 표기했습니다. 저자·학술지·원문 버전은 원문 서지정보를 기준으로 확인할 수 있습니다.
언어모델은 탐욕적 추론자다: 사고 연쇄의 체계적 형식 분석 (Language Models Are Greedy Reasoners: A Systematic Formal Analysis of Chain-of-Thought)
Abulhair Saparov, He He (2023). ICLR 2023.
- 자료 성격
- 학회 논문 공개본
- 읽은 버전
- arXiv v4, 2023-03-02; ICLR 2023 논문
- 확인 범위
- PrOntoQA 생성, 형식 검증, 모델 실험과 증명 계획 오류 분석의 공개본
- 원문 확인일
이 글은 한국어 해설이며 원문 전문 번역이 아닙니다. 도식과 활동의 제작·재구성 범위는 각 그림과 본문에 표시했습니다. 자료 선정과 출처 기준