계산기가 정확해도 엉뚱한 식을 넣으면 엉뚱한 질문의 답을 얻습니다. AI에게 도구를 연결하는 일에도 같은 문제가 있습니다. 언제 어떤 도구를 부르고, 무엇을 입력하고, 결과를 어느 문장에 사용해야 할까요? Toolformer 연구는 이런 선택을 학습 자료 속에 만드는 방법을 제안합니다.
연구를 읽는 두 가지 질문
도구 호출을 만들고 실행한 뒤 걸러냅니다
Schick와 동료들은 적은 수의 도구 사용 예시를 이용해 텍스트 여러 위치에서 호출 후보를 생성합니다. 후보를 실제 실행해 결과를 얻은 다음, 호출과 결과를 제공했을 때 뒤의 텍스트 예측 손실이 줄어드는지 비교합니다. 기준을 통과한 호출을 원래 텍스트에 넣어 모델을 추가 학습합니다. 계산기·검색·질의응답·번역·달력 도구 등을 다룹니다. [1]
학습 기준이 곧 모든 질문의 진실 판정은 아닙니다
연구는 여러 후속 과제에서 도구 사용 학습의 성능 개선을 보고합니다. 중요한 구분은 호출 후보의 유용성을 다음 토큰 예측 손실로 선별한다는 점입니다. 이것이 모든 사실의 진실성이나 실제 업무의 안전성을 직접 판정하는 기준은 아닙니다. 확인한 공개본은 2023년 2월 9일 arXiv v1이며, 이 글은 해당 원고의 방법과 평가 범위를 소개합니다. [1]
정확한 계산기에도 잘못된 입력이 들어갑니다
LTCT의 가상 문제는 “상자마다 18개씩 7상자를 준비하고 검사에서 6개를 제외하면 몇 개인가?”입니다. 올바른 입력은 18×7−6이며 계산 결과는 120입니다. 18×(7−6)을 입력하면 계산기는 정확하게 18을 돌려주지만 문제의 의미를 잘못 옮긴 것입니다. 계산 성공과 의미 번역 성공을 별도 칸에서 확인해야 합니다.
두 후보 호출은 모두 실행 가능하고 문법 오류도 없습니다. 따라서 오류 없이 숫자가 나왔다는 사실은 최종 답의 검증을 끝내 주지 않습니다. 괄호가 어느 작업을 묶는지, 제외하는 단위가 상자인지 개수인지 확인해야 합니다. 도구 선택 능력은 정답 계산뿐 아니라 입력 구성과 결과 해석을 포함합니다.
그림은 문제 의미, 올바른 계산, 잘못 묶은 계산, 검토할 지점을 네 행으로 나눕니다. 이 표의 120과 18은 LTCT가 직접 계산했으며 연구 모델의 실제 출력이나 성능 수치가 아닙니다. Toolformer의 손실 계산이나 학습 절차를 재현한 것도 아닙니다. 구조를 이해한 뒤에는 검색 결과의 날짜나 번역 방향처럼 숫자 이외의 입력 조건에도 같은 점검을 적용할 수 있습니다.
어디까지 말할 수 있을까요?
- 도구의 응답이 틀리거나 오래된 경우와 모델이 입력을 잘못 만든 경우는 서로 다릅니다. 도구를 사용했다는 표시만으로 근거의 품질을 보장할 수 없습니다.
- 공개 원고의 모델·데이터·도구 범위는 제한적입니다. 적은 시범 예시를 사용한다는 사실은 학습 데이터·계산·호출 비용이 전혀 없다는 뜻이 아닙니다.
원문에 근거한 한계와 LTCT의 적용 범위 검토입니다. [1]
교육 현장과 연결해 보면
수업에서는 올바른 식과 잘못된 식이 모두 정상 실행되는 표를 주고, 어떤 단계에서 의미가 어긋났는지 찾게 할 수 있습니다. ‘계산이 틀림’과 ‘계산할 식을 잘못 정함’을 분리하면 AI의 도구 사용을 비판적으로 읽는 활동이 됩니다.
수업 활동은 기호 암기보다 단위·범위·입력 관계를 먼저 확인하도록 구성합니다. 정답을 고른 뒤에는 계산기 결과가 문제의 질문에 답하는 이유를 쓰게 할 수 있습니다.
계산기에서 오류 메시지가 없었다면 18도 타당한 답일까요?
생각을 비교할 해설 펼치기
그 식의 계산값으로는 맞지만 주어진 문제의 답으로는 맞지 않습니다. 제외한 것은 상자 6개가 아니라 물건 6개이므로 먼저 전체 126개를 구한 뒤 6개를 빼야 합니다. 도구의 실행 성공과 문제 해결 성공은 다른 판단입니다.
원문과 출처 정보
한국어 제목은 이해를 돕기 위한 LTCT 번역입니다. 한글 제목 뒤 괄호에 원제를 함께 표기했습니다. 저자·학술지·원문 버전은 원문 서지정보를 기준으로 확인할 수 있습니다.
툴포머: 언어모델의 도구 사용 자기 학습 (Toolformer: Language Models Can Teach Themselves to Use Tools)
Timo Schick, Jane Dwivedi-Yu, Roberto Dessì, Roberta Raileanu, Maria Lomeli, Luke Zettlemoyer, Nicola Cancedda, Thomas Scialom (2023). Meta AI 연구진 공개 논문 원고.
- 자료 성격
- 학술 논문 공개본
- 읽은 버전
- arXiv v1, 2023-02-09 최초 공개본; 이후판을 확인했다고 표시하지 않음
- 확인 범위
- 2절 호출 생성·실행·손실 기반 선별·추가 학습, 도구 종류와 과제 평가·한계 확인. 모델·코드 재실행은 하지 않음
- 원문 확인일
이 글은 한국어 해설이며 원문 전문 번역이 아닙니다. 도식과 활동의 제작·재구성 범위는 각 그림과 본문에 표시했습니다. 자료 선정과 출처 기준
같은 연구 흐름에서 이어 읽기
같은 원문, 저자·연구 흐름, 공통 개념 태그를 기준으로 연결한 관련 해설입니다.