AI가 계산기를 사용했다면 숫자 답을 믿어도 될까요? 계산식이 맞게 실행되었다는 사실과 그 식이 질문을 올바르게 표현한다는 사실은 다릅니다. 복잡한 계산을 외부 도구에 맡기는 방식은 유용하지만, 어떤 부분이 개선되고 어떤 부분이 남는지 구별해야 합니다. 프로그램 보조 언어모델 연구를 이런 관점에서 읽어 봅니다.
연구를 읽는 두 가지 질문
언어모델과 실행기의 역할을 분리하기
가오 등의 PAL 연구는 자연어 문제를 읽은 언어모델이 중간 단계를 프로그램으로 생성하고, 파이썬 같은 실행기가 계산을 수행하는 방법을 제안합니다. 확인한 2023-01-27 v2에서는 수학·기호·알고리즘 추론 과제 13개를 평가합니다. 문제를 실행 가능한 절차로 분해하는 일은 모델에 남기고 계산의 실행을 다른 장치에 맡긴다는 것이 방법의 핵심입니다. [1]
무엇이 개선되었고 무엇을 일반화할 수 없는가?
연구는 당시 모델·프롬프트·과제 조건에서 프로그램을 생성하고 실행하는 방식의 성능 이점을 보고합니다. 프로그램을 보여 주기만 하는 것과 실제 실행하는 것, 의미 있는 변수 이름을 사용하는 것 등의 역할도 분석합니다. 이 결과를 2026년의 모든 AI에 대한 순위로 읽을 수는 없습니다. 실행기가 문장 해석의 오류까지 스스로 보증해 준다는 결론도 나오지 않습니다. [1]
같은 숫자, 다른 할인 순서
LTCT의 가상 문제는 ‘20,000원 물품에 10% 할인을 적용한 뒤, 3,000원 쿠폰을 뺀다’입니다. 올바른 계산은 20,000×0.9−3,000=15,000원입니다. 순서를 바꾸어 (20,000−3,000)×0.9로 계산하면 15,300원입니다. 두 식 모두 정상적으로 실행되지만 질문과 일치하는 식은 첫 번째입니다.
그림은 문장 해석, 식 작성, 실행 결과를 나란히 비교합니다. 계산기가 15,300원을 정확히 출력했다고 해서 문제를 정확히 해결한 것은 아닙니다. 오류의 위치는 곱셈 능력이 아니라 할인 순서를 표현하는 단계입니다. 이런 구분은 정답만 보고 어떤 능력이 부족한지 추측하는 일을 줄입니다.
숫자를 작게 바꾸어 100원에 10% 할인 후 30원을 빼는 경우를 직접 계산하면 60원과 63원의 차이가 드러납니다. 단순한 시험 입력으로 구조를 확인할 수 있지만, 몇 개 입력을 통과했다고 모든 문장 해석이 증명되는 것은 아닙니다.
어디까지 말할 수 있을까요?
- 이 글은 PAL v2 공개본을 읽은 해설이며 모델 실행을 재현하지 않았습니다. 당시 벤치마크 결과를 현재 서비스 성능으로 표시하지 않습니다.
- 프로그램 실행 성공은 입력·출력 정의와 자연어의 일치 여부를 보증하지 않습니다. 실제 실행 도구에는 안전한 격리와 자원 제한도 필요합니다.
원문에 근거한 한계와 LTCT의 적용 범위 검토입니다. [1]
교육 현장과 연결해 보면
AI 답안을 평가하는 활동에서 ‘문장을 절차로 옮기기’, ‘계산 실행’, ‘질문에 맞는 답으로 해석하기’를 분리할 수 있습니다. 오류가 생긴 단계를 표시하게 하면 도구가 대신하는 역할도 드러납니다.
조작형 문항에서는 연산 블록의 순서를 바꾸어 보고 금액 차이가 왜 생기는지 설명하게 할 수 있습니다. 프로그램 코드를 직접 외우게 하기보다, 순서와 관계를 이해하는 능력을 중심에 두는 설계입니다.
15,300원이 나왔고 프로그램 오류 메시지도 없었다면 무엇을 먼저 점검해야 할까요?
생각을 비교할 해설 펼치기
자연어에서 정한 할인과 쿠폰의 순서가 식에 보존되었는지 확인합니다. 실행 오류가 없다는 것은 적어도 실행 가능한 계산이었다는 정보입니다. 올바른 문제를 계산했는지에 대한 판단은 별도로 남습니다.
원문과 출처 정보
한국어 제목은 이해를 돕기 위한 LTCT 번역입니다. 한글 제목 뒤 괄호에 원제를 함께 표기했습니다. 저자·학술지·원문 버전은 원문 서지정보를 기준으로 확인할 수 있습니다.
프로그램의 도움을 받는 언어모델 (PAL: Program-aided Language Models)
Luyu Gao; Aman Madaan; Shuyan Zhou; Uri Alon; Pengfei Liu; Yiming Yang; Jamie Callan; Graham Neubig (2022). arXiv · Carnegie Mellon University 연구자 공개본.
- 자료 성격
- 학술 연구논문
- 읽은 버전
- 최초 2022-11-18; 확인한 arXiv v2 2023-01-27
- 확인 범위
- v2 공개 본문의 방법·과제 구성·분석과 코드 실행 역할 확인; 모델 실행 재현은 하지 않음
- 원문 확인일
이 글은 한국어 해설이며 원문 전문 번역이 아닙니다. 도식과 활동의 제작·재구성 범위는 각 그림과 본문에 표시했습니다. 자료 선정과 출처 기준