필요 없는 숫자 하나가 인공지능(AI)의 답을 흔들까?
같은 계산 구조에서 이름·숫자·무관 정보를 바꾸는 평가를 살펴봅니다. 한 번의 정답보다 변형에 대한 안정성을 묻습니다.
그림에서 무엇을 볼까요?
기본형 24÷4=6, 색 정보 추가형 24÷4=6, 8개 보관 조건 변경형 (24-8)÷4=4. 무관 정보와 실제 조건 변경을 구별한다.
LTCT가 만든 문제입니다. ‘배지 24개를 준비해 전시대 네 곳에 똑같이 나눈다. 한 전시대에 몇 개씩 놓는가?’ 답은 24÷4=6개입니다. 이제 ‘그중 8개는 파란색이다. 색과 관계없이 모든 배지를 나눈다’를 추가합니다. 나눌 배지의 수와 전시대 수는 그대로이므로 답도 6개입니다.
반면 ‘8개는 보관하고 나머지만 나눈다’로 바꾸면 나눌 배지가 16개가 되어 답은 4개입니다. 두 변형 모두 숫자 8이 들어가지만, 앞에서는 속성 설명이고 뒤에서는 대상 집합을 줄이는 조건입니다. 단어에 반응해 무조건 빼거나, 추가 문장은 무조건 무시하는 전략은 둘 중 하나에서 실패합니다.
함께 확인할 점
논문의 당시 모델과 프롬프트 조건을 2026년 현재의 모든 모델에 일반화하지 않습니다. 이 글은 새 모델 비교 실험을 수행하지 않았습니다.
수만 바꾸면 문제 난도가 항상 동일한 것은 아닙니다. 나눗셈의 나머지, 자릿수, 문장 길이와 상식 조건도 통제해야 합니다.
생각해 볼 질문
‘8개는 파란색이므로 빼야 한다’는 설명은 무엇을 추가로 가정하나요?
인공지능(AI)가 여러 풀이를 만든 뒤 따로 검사하면 정답률이 오를까?
익숙한 내용이면 논리도 더 잘 보일까?
정답을 잘 고르는 인공지능(AI)는 반례도 잘 만들까?