같은 세 점수인데, 온도만 바꾸면 확률은 얼마나 달라질까?
로그릿 2, 1, 0을 고정하고 온도 0.5·1·2에서 softmax를 손으로 계산한다.
그림에서 무엇을 볼까요?
고정 점수 2, 1, 0의 softmax 확률이 온도 0.5, 1, 2에서 뾰족한 분포에서 평평한 분포로 바뀌는 막대그림.
모델의 마지막 점수는 그대로 확률이 아니다. softmax는 각 점수를 지수로 바꾼 뒤 전체 합으로 나눠 세 값의 합을 1로 만든다. 여기서는 세 점수를 2, 1, 0으로 고정한다.
함께 확인할 점
입력을 직접 바꾸고 계산과 한계를 함께 확인합니다.
생각해 볼 질문
온도를 높이면 사실성이 좋아진다고 결론 내릴 수 있는가?
