문제 속 숫자는 모두 계산에 사용해야 할까요? 사람도 인공지능도 ‘세 개는 색이 다르다’는 설명을 보고 무심코 세 개를 빼 버릴 수 있습니다. 그런데 질문이 색과 관계없는 전체 개수라면 그 연산은 불필요합니다. 계산 자체와 계산에 들어갈 정보를 고르는 판단을 나누어 평가해야 합니다.
연구를 읽는 두 가지 질문
한 문제를 여러 통제된 변형으로 만듭니다
애플과 워싱턴주립대학교 소속 연구진의 GSM 심볼릭은 수학 문항을 템플릿으로 만들고 값과 조건을 바꾸는 평가입니다. 확인한 공개본은 arXiv v2, 2025-08-27 개정판이며 최초 공개는 2024-10-07입니다. 템플릿 조건과 답을 자동 점검하고 생성 표본을 사람이 검토하는 절차가 소개됩니다. [1]
성능 저하와 원인 해석을 구분해야 합니다
연구는 수치 변형과 계산에 필요 없는 설명 추가에 따라 당시 모델들의 결과가 흔들리는 현상을 보고합니다. 연구진은 이를 추론의 취약성과 연결하지만, 곧바로 모든 AI가 추론할 수 없다는 정리로 읽을 수는 없습니다. 측정한 현상, 그 현상의 원인에 대한 가설, 이후 모델의 성능은 구별해야 합니다. [1]
전시용 배지를 나누는 가상 문제
LTCT가 만든 문제입니다. ‘배지 24개를 준비해 전시대 네 곳에 똑같이 나눈다. 한 전시대에 몇 개씩 놓는가?’ 답은 24÷4=6개입니다. 이제 ‘그중 8개는 파란색이다. 색과 관계없이 모든 배지를 나눈다’를 추가합니다. 나눌 배지의 수와 전시대 수는 그대로이므로 답도 6개입니다.
반면 ‘8개는 보관하고 나머지만 나눈다’로 바꾸면 나눌 배지가 16개가 되어 답은 4개입니다. 두 변형 모두 숫자 8이 들어가지만, 앞에서는 속성 설명이고 뒤에서는 대상 집합을 줄이는 조건입니다. 단어에 반응해 무조건 빼거나, 추가 문장은 무조건 무시하는 전략은 둘 중 하나에서 실패합니다.
그림은 기본형·무관 정보형·조건 변경형의 계산을 나란히 보여 줍니다. 이 표의 답은 직접 검산한 것이며 특정 AI에게 실제로 물어본 응답이 아닙니다. 모델의 오류 예시처럼 꾸미지 않고, 어떤 변형을 묶어 검토해야 하는지 보여 주는 평가 설계 예시로 제시합니다.
어디까지 말할 수 있을까요?
- 논문의 당시 모델과 프롬프트 조건을 2026년 현재의 모든 모델에 일반화하지 않습니다. 이 글은 새 모델 비교 실험을 수행하지 않았습니다.
- 수만 바꾸면 문제 난도가 항상 동일한 것은 아닙니다. 나눗셈의 나머지, 자릿수, 문장 길이와 상식 조건도 통제해야 합니다.
원문에 근거한 한계와 LTCT의 적용 범위 검토입니다. [1]
교육 현장과 연결해 보면
계산 문제에 답과 무관한 숫자를 하나 넣은 버전을 함께 제시합니다. 학생은 필요한 수와 제외할 수를 표시한 뒤 두 버전의 풀이가 같은 관계를 사용해야 하는 이유를 설명합니다.
AI 답변에서도 무관한 숫자를 식에 넣은 부분이 있는지 확인합니다. 교사는 실제 조건을 바꾼 문제도 추가하여, 표면만 달라진 변형과 다시 계산해야 하는 변형을 구분하게 합니다.
‘8개는 파란색이므로 빼야 한다’는 설명은 무엇을 추가로 가정하나요?
생각을 비교할 해설 펼치기
파란 배지는 나누지 않는다는 조건을 임의로 넣습니다. 원래 변형은 색과 관계없이 전부 나눈다고 명시하므로 그 가정은 성립하지 않습니다. 정보의 등장 여부가 아니라 질문의 대상과 수량을 바꾸는 역할인지 확인해야 합니다.
원문과 출처 정보
한국어 제목은 이해를 돕기 위한 LTCT 번역입니다. 한글 제목 뒤 괄호에 원제를 함께 표기했습니다. 저자·학술지·원문 버전은 원문 서지정보를 기준으로 확인할 수 있습니다.
지에스엠 심볼릭: 대규모 언어모델의 수학적 추론 한계 이해하기 (GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models)
Iman Mirzadeh, Keivan Alizadeh, Hooman Shahrokhi, Oncel Tuzel, Samy Bengio, Mehrdad Farajtabar (2025). ICLR 2025 · arXiv:2410.05229.
- 자료 성격
- 학회 연구의 저자 공개 원고
- 읽은 버전
- arXiv v2 · 2025-08-27 개정 · 최초 v1 2024-10-07 · 제출 기록에 ICLR camera ready 표기
- 확인 범위
- v2 제3절 템플릿·검수와 실험 설정, 제4절 이름·수·무관 정보 변형 결과, 결론. 현재 모델을 새로 시험하지 않음.
- 원문 확인일
이 글은 한국어 해설이며 원문 전문 번역이 아닙니다. 도식과 활동의 제작·재구성 범위는 각 그림과 본문에 표시했습니다. 자료 선정과 출처 기준
같은 연구 흐름에서 이어 읽기
같은 원문, 저자·연구 흐름, 공통 개념 태그를 기준으로 연결한 관련 해설입니다.