가장 그럴듯한 다음 말이 사실일까?

그림에서 무엇을 볼까요?

다음 표현 후보 세 개 중 가장 큰 가중치의 표현을 고른 뒤 별도 원문 대조에서 다른 수치를 확인해 답을 수정하는 흐름

‘연구에는 모두 ___개의 질문이 있다’ 다음에 800, 817, 718이라는 후보가 놓였다고 합시다. 교육용 모형이 웹에서 자주 보인 둥근 수 800에 가장 큰 가중치를 주면 문장은 매우 자연스럽게 완성됩니다. 그러나 원문에 적힌 실제 문항 수가 817이라면 가장 높은 후보를 골랐다는 사실은 정답의 근거가 아닙니다.

Brown과 동료들의 GPT-3 논문은 모형을 앞선 토큰 문맥에 따라 다음 토큰을 생성하는 자동회귀 언어모델로 설명합니다. 과제 설명과 몇 개 예시를 문맥에 넣어 별도 가중치 갱신 없이 여러 과제를 수행하는 설정을 평가했습니다. 이런 생성 계산은 문맥과 학습 분포에 잘 이어지는 표현을 만드는 데 강하지만, 그 과정 자체에 최신 원문 조회나 사실 대조가 자동 포함된다고 말할 수는 없습니다.