통합검색

AI 정확도 90퍼센트와 60퍼센트를 평균 내면 75퍼센트일까?

평가셋 크기가 다르면 두 백분율의 단순 평균과 전체 문항 정확도가 달라집니다. 정답 수·문항 수·통합 규칙을 바꾸며 차이를 확인합니다.

같은 질문을 다시 하면 AI도 같은 답을 고를까?

후보 점수가 같아도 선택 규칙의 무작위성에 따라 실행 결과가 달라질 수 있습니다. 온도·시드·횟수를 바꿔 분포와 재현성을 확인합니다.

인공지능(AI)가 확신이 낮은 답을 보류하면 정확도는 어떻게 달라질까?

AI가 낮은 확신의 답을 보류할 때 답한 범위와 정답률이 함께 어떻게 바뀌는지 살펴보고, 선택된 일부의 성능을 전체 신뢰성과 혼동하지 않는 법을 익힙니다.

Language Models (Mostly) Know What They Know

긴 문맥을 읽는 인공지능(AI)는 가운데 근거도 똑같이 찾을까?

긴 문맥 모델도 근거 위치에 따라 성능이 달라졌습니다. 문서 수와 위치를 바꾸는 교육 모형으로 강건성을 점검합니다.

Lost in the Middle: How Language Models Use Long Contexts

언어모형을 크게 만들수록 무엇을 장부에 남겨야 할까?

Bender 등 연구자들의 ‘확률적 앵무새’ 논문을 통해 대규모 언어모형의 자료 문서화, 환경비용, 편향, 이해관계자 위험을 점검합니다.

On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?