두 AI가 모두 ‘참’이라고 답했습니다. 하나는 올바른 두 단계로 결론에 도달했고, 다른 하나는 중간에 모순된 문장을 쓴 뒤 우연히 정답을 골랐습니다. 정답표만 있으면 둘을 구분할 수 없습니다.
연구를 읽는 두 가지 질문
사람이 쓴 복잡한 증명 연쇄를 수집했습니다
Han과 동료들의 P-FOLIO는 사람이 만든 현실적인 논리 이야기와 0단계부터 20단계까지의 자연어 증명 연쇄를 짝지었습니다. 공개 arXiv v1의 주석 절차, 규칙 분류, 평가·학습 실험을 확인했습니다. [1]
한 줄 정답보다 세밀한 오류 위치를 봅니다
연구는 단일 단계의 추론 규칙을 다양한 난도로 분류하고, 모델이 만든 증명은 정답 경로와 표현이 다를 수 있으므로 여러 연쇄를 샘플링해 pass@k도 사용합니다. 사람의 한 경로와 문장이 다르다는 이유만으로 유효한 다른 증명을 틀렸다고 할 수 없기 때문입니다. [1]
학습 성과와 검증 가능성을 함께 봅니다
원고는 사람 증명 연쇄를 다수 예시와 미세조정에 사용했을 때 논리 과제와 일부 외부 데이터에서 성능 향상을 보고합니다. 다만 특정 Llama3-7B 설정과 데이터셋 결과이며, 사람처럼 이해했다거나 모든 논리 문제에 전이된다는 증거는 아닙니다. [1]
읽을 때 확인할 검수 기준
AI 연구는 확인한 모델·데이터·공개본 날짜를 현재의 모든 모델로 확대하지 않습니다. 최종 정답, 생성한 중간 단계, 외부 검사기의 판정, 사람이 확인한 의미 충실성을 각각 구분합니다. LTCT 적용안에서는 모델 출력의 유창함보다 전제 의존 경로와 반례에 대한 수정 가능성을 우선 검수합니다. [1]
정답·규칙·경로를 세 층으로 채점하기
LTCT 자체 예시에서 ‘모든 A는 B’, ‘모든 B는 C’, ‘다온은 A’로부터 ‘다온은 C’를 증명합니다. 1단계는 다온은 B, 2단계는 다온은 C입니다. 정답층은 C 여부, 규칙층은 두 번의 전칭 적용, 경로층은 사용 전제를 기록합니다.
다른 풀이가 같은 결론에 더 긴 유효 경로로 도달할 수도 있습니다. 채점기는 표현 일치보다 논리적 등가와 실제 의존 관계를 확인해야 합니다. 교육용 도식은 원 데이터셋 예시가 아닙니다.
단계별 데이터에는 주석 규칙도 필요합니다. ‘모든 A는 B’와 ‘x는 A’에서 ‘x는 B’를 얻은 문장을 한 단계로 셀지, 전칭 규칙 적용과 대입을 두 단계로 셀지에 따라 길이가 달라집니다. 따라서 20단계라는 숫자를 난도의 절대 척도로 쓰기보다 해당 데이터셋의 주석 단위를 함께 읽어야 합니다. LTCT가 증명 경로를 저장할 때도 최소 경로, 허용되는 우회 경로, 동치 표현, 사용하지 않은 전제를 구분해야 합니다. 자동채점 결과가 사람 채점과 다르면 최종 문자열만 비교하지 않고 어느 규칙 인식에서 갈라졌는지 보여 주는 것이 교육적으로 유용합니다.
어디까지 말할 수 있을까요?
- P-FOLIO 공개본은 2024년 10월 11일 v1이며 이후 수정판을 확인했다고 표시하지 않습니다.
- 사람 주석도 완전한 유일 정답이 아니므로 독립 검수와 형식 검사기가 필요합니다.
원문에 근거한 한계와 LTCT의 적용 범위 검토입니다. [1]
교육 현장과 연결해 보면
서술형 자동채점 연구에서 최종답, 단계 타당성, 사용 전제, 불필요한 순환을 별도 표시할 수 있습니다.
문항은행에는 정답키뿐 아니라 하나 이상의 검증된 증명 그래프와 허용 가능한 동치 표현을 저장하는 방안을 검토할 수 있습니다.
사람의 모범 증명과 단계 순서가 다르면 AI 증명은 틀린 걸까요?
생각을 비교할 해설 펼치기
각 단계가 허용된 전제에서 따르고 최종 목표에 도달한다면 다른 유효 증명일 수 있습니다. 문자열 일치만으로 판정하면 안 됩니다.
원문과 출처 정보
한국어 제목은 이해를 돕기 위한 LTCT 번역입니다. 한글 제목 뒤 괄호에 원제를 함께 표기했습니다. 저자·학술지·원문 버전은 원문 서지정보를 기준으로 확인할 수 있습니다.
피 폴리오: 풍부한 사람 작성 증명 연쇄를 이용한 논리 추론 평가와 개선 (P-FOLIO: Evaluating and Improving Logical Reasoning with Abundant Human-Written Reasoning Chains)
Simeng Han, Aaron Yu, Rui Shen 외 13명 (2024). arXiv 공개 연구 원고.
- 자료 성격
- 학술 논문 공개본
- 읽은 버전
- arXiv v1, 2024-10-11
- 확인 범위
- 주석 프로토콜, 0~20단계 증명, 규칙 분류, pass@k와 학습 실험의 공개본
- 원문 확인일
이 글은 한국어 해설이며 원문 전문 번역이 아닙니다. 도식과 활동의 제작·재구성 범위는 각 그림과 본문에 표시했습니다. 자료 선정과 출처 기준