인공지능(AI)가 계산을 프로그램에 맡기면 어떤 오류가 남을까?
프로그램 보조 언어모델은 문제 해석과 계산 실행의 역할을 나눕니다. 실행이 성공해도 문제를 제대로 옮겼는지 확인해야 하는 이유를 알아봅니다.
그림에서 무엇을 볼까요?
할인후쿠폰은15000원 쿠폰후할인은15300원으로 실행가능한 두 식의 결과가 다르다.
LTCT의 가상 문제는 ‘20,000원 물품에 10% 할인을 적용한 뒤, 3,000원 쿠폰을 뺀다’입니다. 올바른 계산은 20,000×0.9−3,000=15,000원입니다. 순서를 바꾸어 (20,000−3,000)×0.9로 계산하면 15,300원입니다. 두 식 모두 정상적으로 실행되지만 질문과 일치하는 식은 첫 번째입니다.
그림은 문장 해석, 식 작성, 실행 결과를 나란히 비교합니다. 계산기가 15,300원을 정확히 출력했다고 해서 문제를 정확히 해결한 것은 아닙니다. 오류의 위치는 곱셈 능력이 아니라 할인 순서를 표현하는 단계입니다. 이런 구분은 정답만 보고 어떤 능력이 부족한지 추측하는 일을 줄입니다.
함께 확인할 점
이 글은 PAL v2 공개본을 읽은 해설이며 모델 실행을 재현하지 않았습니다. 당시 벤치마크 결과를 현재 서비스 성능으로 표시하지 않습니다.
프로그램 실행 성공은 입력·출력 정의와 자연어의 일치 여부를 보증하지 않습니다. 실제 실행 도구에는 안전한 격리와 자원 제한도 필요합니다.
생각해 볼 질문
15,300원이 나왔고 프로그램 오류 메시지도 없었다면 무엇을 먼저 점검해야 할까요?
익숙한 내용이면 논리도 더 잘 보일까?
정답을 잘 고르는 인공지능(AI)는 반례도 잘 만들까?
필요 없는 숫자 하나가 인공지능(AI)의 답을 흔들까?