하나의 고정된 임베딩 표에서는 같은 정수 ID가 같은 행을 고르지만, 뒤의 문맥 연산까지 같은 표현을 보장하지는 않습니다.
입력 [2,1,2]의 첫째와 셋째 토큰은 첫 조회에서 같은 숫자 벡터를 얻을까요?
PyTorch의 nn.Embedding은 정수 인덱스로 학습 가능한 표의 행을 고르는 조회입니다. 표를 0:[0.1,0.0], 1:[0.0,0.8], 2:[0.6,0.2]로 정하고 ID [2,1,2]를 넣으면 결과는 [[0.6,0.2],[0.0,0.8],[0.6,0.2]]입니다.
첫째와 셋째는 모두 ID 2이므로 같은 시점의 같은 표에서 [0.6,0.2]를 읽습니다. 이것은 의미가 같아서가 아니라 조회 규칙이 같은 인덱스를 같은 행에 연결하기 때문입니다.
실제 언어 모델은 위치 정보와 주변 토큰을 더해 여러 층을 통과시킵니다. 따라서 처음 조회한 행이 같아도 서로 다른 위치·문맥의 최종 벡터는 달라질 수 있습니다. 또 학습으로 표가 갱신되면 다른 시점의 행 값도 달라질 수 있습니다.
표: 0→[0.1,0.0] · 1→[0.0,0.8] · 2→[0.6,0.2]
조회 결과: [0.6,0.2] · [0.0,0.8] · [0.6,0.2]
같은 표의 같은 ID는 같은 초기 행을 읽지만, 위치·문맥 층 뒤의 최종 표현까지 같다는 뜻은 아닙니다.
두 문제의 답을 모두 선택하면 해설을 볼 수 있습니다. 채점 후에는 틀린 문제만 다시 풀 수도 있습니다.
저장 위치를 확인하고 있습니다…
위 활동은 새 탭에서 열립니다. 실험값·문제 답·작성 중인 메모는 이 화면에 남아 있습니다. 메모를 보관하려면 저장 버튼을 눌러 주세요. 복습 노트에는 제목과 주소만 가져옵니다.
원문을 참고해 설명·도표·문항·실험을 새로 작성했습니다. 별도 표시가 없는 사례와 수치는 학습을 위한 가상 예시입니다. 원문 번역이나 실제 모델의 성능 평가 자료가 아닙니다.
