사람과 공식 생각하는 올리가 같은 실험 대상을 함께 살피는 장면입니다. · 한국논리학협회 · AI 생성 배경 · 공식 올리 원본오늘의 질문순위가 그대로여도 확률 차이는 커질 수 있을까?
고정 점수 2, 1, 0의 softmax 확률이 온도 0.5, 1, 2에서 뾰족한 분포에서 평평한 분포로 바뀌는 막대그림. · 한국논리학협회 자체 제작그림 크게 보기 ↗01점수와 확률은 같은 말이 아니다
모델의 마지막 점수는 그대로 확률이 아니다. softmax는 각 점수를 지수로 바꾼 뒤 전체 합으로 나눠 세 값의 합을 1로 만든다. 여기서는 세 점수를 2, 1, 0으로 고정한다.
02온도 0.5: 차이를 두 배로 벌린다
점수를 0.5로 나누면 4, 2, 0이 된다. 계산된 확률은 약 86.68%, 11.73%, 1.59%다. 첫 항목이 거의 독점한다.
03온도 2: 순위는 같아도 분포는 평평하다
점수를 2로 나누면 1, 0.5, 0이다. 확률은 약 50.65%, 30.72%, 18.63%다. 1위는 그대로지만 3위도 무시하기 어려워진다.
04무엇을 말할 수 있고 없는가
이 실험은 온도가 확률 분포의 모양을 바꾼다는 사실만 보여 준다. 높은 온도가 더 좋은 답, 낮은 온도가 더 정확한 답을 보장하지 않는다.
온도로 확률 분포 바꾸기
고정 점수 [2, 1, 0] ÷ 1
- 항목 1: 66.52%
- 항목 2: 24.47%
- 항목 3: 9.00%
합계: 100.00% · 순위는 같고 온도가 높을수록 분포가 평평해집니다.
관계를 읽고, 다른 상황에 적용하기두 문제로 생각 확인
출처와 제작 안내
원문을 참고해 설명·도표·문항·실험을 새로 작성했습니다. 별도 표시가 없는 사례와 수치는 학습을 위한 가상 예시입니다. 원문 번역이나 실제 모델의 성능 평가 자료가 아닙니다.
- Distilling the Knowledge in a Neural Network ↗Geoffrey Hinton, Oriol Vinyals, Jeff DeanDistilling the Knowledge in a Neural Network
softmax 온도와 확률 분포
