SATBench의 2,100개 문제는 해 찾기와 불가능성 판정 사이의 비대칭을 드러냅니다. 누구나 궁금해할 질문은 연구가 실제로 무엇을 비교했고 어디까지 말할 수 있느냐입니다. 이 글은 공개 원문을 기준으로 연구 질문·방법·결과와 적용 아이디어를 나누어 읽습니다.
연구를 읽는 두 가지 질문
연구 질문과 확인한 자료
Anjiang Wei, Yuheng Wu, Yingjia Wan, Tarun Suresh, Huanmi Tan, Zhanke Zhou, Sanmi Koyejo, Ke Wang, Alex Aiken의 원자료를 공개 전문으로 확인했습니다. solver와 언어모델로 생성·검증한 2,100개 만족가능성 문제를 제시하고 일부는 사람 검토를 거쳤습니다. [1]
방법과 핵심 결과
고난도 UNSAT에서 o4-mini 65%가 보고됐고 오류에는 만족가능 쪽 편향, 문맥 불일치와 조건 누락이 포함됐습니다. 수치와 범주는 원문이 보고한 범위에서만 사용하며, 본문에 없는 값을 보충하지 않았습니다. [1]
해석의 범위와 한계
2025년 특정 모델·설정과 합성 문제이며 solver가 자연어 번역의 의미 적합성을 자동 보장하지 않습니다. 발표일과 확인한 버전을 구분하고 저자 국적은 추정하지 않았습니다. [1]
개념을 직접 점검하는 예시
A가 첫째이면서 둘째여야 한다는 모순 퍼즐에서 후보를 조건별로 지우고, 후보 실패와 모든 후보 배제 증명을 구분합니다.
그림은 후보 생성 → 조건 검사 → 불가능성 증명의 순서로 읽습니다. 각 화살표 끝은 다음 단계의 경계에 닿고, 마지막 아래쪽 합류점에서 조건·범위·반례를 함께 확인합니다. 원 논문의 표나 그림을 복사하지 않고 LTCT가 개념 관계만 새로 그렸습니다.
어디까지 말할 수 있을까요?
- 2025년 특정 모델·설정과 합성 문제이며 solver가 자연어 번역의 의미 적합성을 자동 보장하지 않습니다.
- 이 자료 하나만으로 LTCT 교육·시험의 효과를 확인할 수 없습니다. 대상, 비교 조건, 무작위 배정 여부와 측정 시점을 유지한 별도 평가가 필요합니다.
원문에 근거한 한계와 LTCT의 적용 범위 검토입니다. [1]
교육 현장과 연결해 보면
순서를 정하는 작은 퍼즐에 ‘가가 첫째다’와 ‘가가 둘째다’를 함께 넣습니다. 학생은 후보 배열마다 어긴 조건을 표시하고, 모든 후보가 제외되는 이유를 정리합니다.
해를 하나 못 찾은 기록과 가능한 후보 전체를 배제한 기록을 비교합니다. 이어 충돌 조건 하나를 고쳐 실제 해를 제시하게 하여, 탐색 실패와 해가 없다는 증명의 차이를 확인합니다.
가능한 배치를 못 찾으면 불가능한가요?
생각을 비교할 해설 펼치기
아닙니다. 탐색 실패가 아니라 모든 후보의 건전한 배제나 검증 가능한 모순 핵심이 필요합니다.
원문과 출처 정보
한국어 제목은 이해를 돕기 위한 LTCT 번역입니다. 한글 제목 뒤 괄호에 원제를 함께 표기했습니다. 저자·학술지·원문 버전은 원문 서지정보를 기준으로 확인할 수 있습니다.
만족가능성 벤치마크: 만족가능성 식에서 자동 생성한 퍼즐로 대형언어모델의 논리 추론 평가 (SATBench: Benchmarking LLMs’ Logical Reasoning via Automated Puzzle Generation from SAT Formulas)
Anjiang Wei, Yuheng Wu, Yingjia Wan, Tarun Suresh, Huanmi Tan, Zhanke Zhou, Sanmi Koyejo, Ke Wang, Alex Aiken (2025). Proceedings of EMNLP 2025.
- 자료 성격
- EMNLP 국제 학회 논문
- 읽은 버전
- ACL Anthology EMNLP 2025 출판본
- 확인 범위
- 공개 원문 전문에서 연구 질문, 방법, 표본·비교 조건, 핵심 결과와 저자가 밝힌 해석 한계를 확인. ACL Anthology EMNLP 2025 출판본
- 원문 확인일
이 글은 한국어 해설이며 원문 전문 번역이 아닙니다. 도식과 활동의 제작·재구성 범위는 각 그림과 본문에 표시했습니다. 자료 선정과 출처 기준
같은 연구 흐름에서 이어 읽기
같은 원문, 저자·연구 흐름, 공통 개념 태그를 기준으로 연결한 관련 해설입니다.