온도를 바꾸면 인공지능(AI)의 1위 답은 그대로인데 확신만 달라질까?
로짓과 온도를 바꾸어 확률 간격을 직접 계산하고, 양의 온도 조정이 확신 표현은 바꾸지만 같은 로짓의 1위 답은 바꾸지 않는 이유를 확인합니다.
On Calibration of Modern Neural Networks
개별 글보다 주제 전체를 따라 읽고 싶다면 대표 글과 연관 자료를 함께 보세요.
그림으로 이해하고, 원문으로 깊이 읽습니다.
관심 주제와 난이도로 필요한 글을 찾아보세요. 개념을 익히는 학습과 원문에 근거한 연구 해설을 구분했습니다.

해외 학술 연구의 7개 분야
로짓과 온도를 바꾸어 확률 간격을 직접 계산하고, 양의 온도 조정이 확신 표현은 바꾸지만 같은 로짓의 1위 답은 바꾸지 않는 이유를 확인합니다.
On Calibration of Modern Neural Networks
긴 글을 받아들일 수 있는 AI가 그 안의 정보를 고르게 활용하는지는 별개의 질문입니다. 류와 동료들의 2024년 논문은 답을 담은 정보의 위치를 바꾸며 당시 언어 모델의 수행을 비교합니다.
긴 입력의 중간에서 놓치는 정보 — Lost in the Middle: How Language Models Use Long Contexts
AI가 낮은 확신의 답을 보류할 때 답한 범위와 정답률이 함께 어떻게 바뀌는지 살펴보고, 선택된 일부의 성능을 전체 신뢰성과 혼동하지 않는 법을 익힙니다.
Language Models (Mostly) Know What They Know
긴 문맥 모델도 근거 위치에 따라 성능이 달라졌습니다. 문서 수와 위치를 바꾸는 교육 모형으로 강건성을 점검합니다.
Lost in the Middle: How Language Models Use Long Contexts
Bender 등 연구자들의 ‘확률적 앵무새’ 논문을 통해 대규모 언어모형의 자료 문서화, 환경비용, 편향, 이해관계자 위험을 점검합니다.
On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?
1–5 / 69묶음