논리적 사고

같은 토큰 ID는 언제나 같은 임베딩 행을 읽을까요?

하나의 고정된 임베딩 표에서는 같은 정수 ID가 같은 행을 고르지만, 뒤의 문맥 연산까지 같은 표현을 보장하지는 않습니다.

토큰 ID 2, 1, 2가 임베딩 표의 2번, 1번, 2번 행을 골라 첫째와 셋째 결과가 같은 벡터가 되는 조회.
토큰 ID 2, 1, 2가 임베딩 표의 2번, 1번, 2번 행을 골라 첫째와 셋째 결과가 같은 벡터가 되는 조회.
그림 크게 열기 ↗SVG 저장

그림에서 무엇을 볼까요?

토큰 ID 2, 1, 2가 임베딩 표의 2번, 1번, 2번 행을 골라 첫째와 셋째 결과가 같은 벡터가 되는 조회.

PyTorch의 nn.Embedding은 정수 인덱스로 학습 가능한 표의 행을 고르는 조회입니다. 표를 0:[0.1,0.0], 1:[0.0,0.8], 2:[0.6,0.2]로 정하고 ID [2,1,2]를 넣으면 결과는 [[0.6,0.2],[0.0,0.8],[0.6,0.2]]입니다.

생각해 볼 질문

내가 비교하는 벡터는 임베딩 표에서 막 꺼낸 값인가요, 문맥 층을 통과한 값인가요?

함께 볼 그림

점수 2, 1, 0, -1에 마스크 1, 1, 0, 0을 적용해 앞의 두 위치만 0.7311과 0.2689를 얻는 계산.어텐션 마스크는 패딩의 관심 가중치를 정말 0으로 만들까요?같은 장난감 생성기와 시드 7은 62, 97, 92, 7을 반복하지만 구현이나 환경이 달라지면 같은 시드만으로 결과를 보장할 수 없음을 구분한 표.같은 난수 시드면 어디서나 같은 AI 결과가 보장될까요?60% 강수 예보를 20번 모았을 때 비가 12번이면 관측 빈도 60%, 8번이면 40%가 되어 예보확률과의 차이를 비교하는 그림.비가 한 번 안 왔다고 60% 예보는 틀린 걸까요?
← 논리적 사고 그림 더 보기