문장 뒤에 여러 후보가 놓인다
언어모델은 문맥을 바탕으로 다음 토큰의 후보를 계산합니다. 토큰은 글자나 단어의 일부 등 모델이 다루는 텍스트 조각입니다. 여기서는 이해하기 쉽게 세 개의 완성된 표현을 후보로 놓은 작은 모형을 사용합니다. 실제 모델의 어휘와 토큰 분할은 훨씬 복잡합니다.
문맥을 ‘비가 내려서’와 ‘햇볕이 강해서’ 사이에서 바꾸어 보세요. 이 교육용 표에서는 우산, 양산, 장갑 후보의 기본 비중이 달라집니다. 후보들의 비중을 합하면 100퍼센트가 됩니다. 문맥이 바뀌었을 때 어느 후보가 유리해졌는지 살펴보세요.
참고 · Polo Club of Data Science · Georgia Tech 연구진 — 문장을 만드는 트랜스포머 살펴보기 ↗
같은 후보라도 선택의 폭은 달라진다
선택 집중도를 바꾸면 기본 비중의 순서를 유지하면서 큰 값과 작은 값 사이의 차이를 조정합니다. 화면에서는 이 변화를 계산해 막대와 수치로 함께 보여 줍니다. 실제 언어모델에서도 온도와 같은 설정이 후보 선택의 분포에 영향을 줍니다. 설정을 바꾸는 것과 새로운 근거를 얻는 것은 다른 일입니다.
이 페이지는 무작위로 답을 생성하지 않고 분포 자체를 비교합니다. 같은 입력과 설정에는 같은 결과를 표시하므로 변화의 원인을 확인하기 쉽습니다. 실제 GPT-2를 실행하는 원문 도구는 아래 출처에서 직접 탐구할 수 있습니다.
참고 · Polo Club of Data Science · Georgia Tech 연구진 — 문장을 만드는 트랜스포머 살펴보기 ↗
표현의 확률과 사실의 근거
자연스럽게 이어질 표현과 사실에 근거한 답변은 구분해야 합니다. 어떤 표현의 생성 확률이 높다는 이유만으로 그 표현에 담긴 사실이 검증되었다고 볼 수는 없습니다. 답변의 출처를 확인하고 주장 범위를 살피는 활동이 여기에 이어집니다. 모델의 설명 역시 검토할 자료이며, 설명이 유창하다는 사실이 내부 과정을 완전히 드러낸다는 보장은 없습니다.