인공지능(AI)는 언제 계산기를 부를지 어떻게 배울까?
Toolformer는 도구 호출 후보를 만들고 실제 결과가 다음 단어 예측에 도움이 되는지 걸러 학습합니다. 도구의 계산 정확도와 호출 선택의 적절성을 구분합니다.
그림에서 무엇을 볼까요?
올바른 입력 18×7−6은 120, 잘못 묶은 입력 18×(7−6)은 18. 둘 다 실행되지만 두 번째는 개수 6개를 상자 수에서 빼는 의미 오류다.
LTCT의 가상 문제는 “상자마다 18개씩 7상자를 준비하고 검사에서 6개를 제외하면 몇 개인가?”입니다. 올바른 입력은 18×7−6이며 계산 결과는 120입니다. 18×(7−6)을 입력하면 계산기는 정확하게 18을 돌려주지만 문제의 의미를 잘못 옮긴 것입니다. 계산 성공과 의미 번역 성공을 별도 칸에서 확인해야 합니다.
두 후보 호출은 모두 실행 가능하고 문법 오류도 없습니다. 따라서 오류 없이 숫자가 나왔다는 사실은 최종 답의 검증을 끝내 주지 않습니다. 괄호가 어느 작업을 묶는지, 제외하는 단위가 상자인지 개수인지 확인해야 합니다. 도구 선택 능력은 정답 계산뿐 아니라 입력 구성과 결과 해석을 포함합니다.
함께 확인할 점
도구의 응답이 틀리거나 오래된 경우와 모델이 입력을 잘못 만든 경우는 서로 다릅니다. 도구를 사용했다는 표시만으로 근거의 품질을 보장할 수 없습니다.
공개 원고의 모델·데이터·도구 범위는 제한적입니다. 적은 시범 예시를 사용한다는 사실은 학습 데이터·계산·호출 비용이 전혀 없다는 뜻이 아닙니다.
생각해 볼 질문
계산기에서 오류 메시지가 없었다면 18도 타당한 답일까요?
