어텐션 마스크는 패딩의 관심 가중치를 정말 0으로 만들까요?

패딩 위치를 소프트맥스 합에서 제외하면 그 위치의 관심 가중치는 0이 되고, 남은 위치끼리 합이 1이 되도록 다시 나뉩니다.

중학생 이상게시 2026-11-10읽기·실험 약 12분확인 문제 2개규칙 기반 실행한국논리학협회 자체 제작제작·검수 LTCT 편집부

오늘의 질문

점수가 네 개여도 마스크가 0인 패딩 두 곳은 관심 가중치를 받을까요?

마스크는 계산에 참여할 위치를 정한다

토큰 네 개의 점수를 [2, 1, 0, -1], 마스크를 [1, 1, 0, 0]으로 놓아 봅시다. Hugging Face 문서의 일반적 규약에서는 1이 살펴볼 토큰, 0이 가릴 패딩 토큰입니다.

수치적으로 안정하게 가장 큰 값 2를 빼면 남은 지수값은 e⁰=1과 e⁻¹≈0.3679입니다. 합 1.3679로 나누면 약 [0.7311, 0.2689]가 됩니다. 마스크가 0인 두 위치는 분자와 분모에서 제외되어 0이고, 네 가중치의 합은 1입니다.

이 실험은 한 어텐션 행에서 마스크된 키 위치의 가중치가 0이 되는 계산만 보여 줍니다. 구현·모델에 따라 패딩 위치 자체의 출력 벡터가 남거나 다른 연산을 거칠 수 있으므로, 마스크 하나가 모든 층의 패딩 흔적을 삭제한다고 확대하면 안 됩니다.

직접 확인하기 · 규칙 기반 실행

점수: [2, 1, 0, -1]

가중치: [0.7311, 0.2689, 0.0000, 0.0000]

마스크가 0인 위치는 이 어텐션 행의 합에서 제외됩니다. 이것만으로 모델 전체의 패딩 표현이 사라진다고 결론 내리지는 않습니다.

관계를 읽고, 다른 상황에 적용하기

1[2,1,0,-1]에 [1,1,0,0]을 적용했을 때 세 번째 위치의 가중치는?

102약 0.093약 0.2741

2이 실험만으로 말할 수 없는 것은?

1남은 가중치 합은 1이다2마스크된 키 가중치는 0이다3모든 층에서 패딩 정보가 완전히 사라진다4마스크를 바꾸면 분배가 바뀐다

두 문제의 답을 모두 선택하면 해설을 볼 수 있습니다. 채점 후에는 틀린 문제만 다시 풀 수도 있습니다.

나의 설명으로 마무리

내가 쓰는 모델은 패딩 위치의 최종 출력도 버리는지, 아니면 손실 계산에서 따로 제외하는지 어디에서 확인할 수 있을까요?

저장 위치를 확인하고 있습니다…

위 활동은 새 탭에서 열립니다. 실험값·문제 답·작성 중인 메모는 이 화면에 남아 있습니다. 메모를 보관하려면 저장 버튼을 눌러 주세요. 복습 노트에는 제목과 주소만 가져옵니다.

원문을 참고해 설명·도표·문항·실험을 새로 작성했습니다. 별도 표시가 없는 사례와 수치는 학습을 위한 가상 예시입니다. 원문 번역이나 실제 모델의 성능 평가 자료가 아닙니다.