어텐션 마스크는 패딩의 관심 가중치를 정말 0으로 만들까요?
패딩 위치를 소프트맥스 합에서 제외하면 그 위치의 관심 가중치는 0이 되고, 남은 위치끼리 합이 1이 되도록 다시 나뉩니다.
그림에서 무엇을 볼까요?
점수 2, 1, 0, -1에 마스크 1, 1, 0, 0을 적용해 앞의 두 위치만 0.7311과 0.2689를 얻는 계산.
토큰 네 개의 점수를 [2, 1, 0, -1], 마스크를 [1, 1, 0, 0]으로 놓아 봅시다. Hugging Face 문서의 일반적 규약에서는 1이 살펴볼 토큰, 0이 가릴 패딩 토큰입니다.
생각해 볼 질문
내가 쓰는 모델은 패딩 위치의 최종 출력도 버리는지, 아니면 손실 계산에서 따로 제외하는지 어디에서 확인할 수 있을까요?
같은 토큰 ID는 언제나 같은 임베딩 행을 읽을까요?
같은 난수 시드면 어디서나 같은 AI 결과가 보장될까요?
비가 한 번 안 왔다고 60% 예보는 틀린 걸까요?