통합검색

AI가 파일을 저장했는지 확인하려면 어떤 기록이 필요할까?

저장 요청, 저장 명령, 도구의 응답, 저장된 파일을 다시 확인한 기록을 비교합니다. 빠진 기록에 따라 무엇을 확인할 수 없는지 살펴봅니다.

평가 항목의 반영 비율을 바꾸면 AI 순위도 달라질까?

두 AI의 항목별 점수는 그대로 두고 정확성·안전성·속도의 반영 비율만 바꿉니다. 어떤 항목을 더 중요하게 보느냐에 따라 순위가 달라지는지 확인합니다.

AI를 평가할 때, 예측 시점에는 몰랐던 결과를 학습에 써도 될까?

6월 말에 사용할 AI를 평가한다고 가정합니다. 8월에야 확인된 고객의 이용 결과까지 학습 자료에 넣으면 무엇이 잘못되는지 살펴봅니다.

인공지능(AI)에게 같은 질문을 여러 번 하면 꾸며낸 사실을 찾을 수 있을까?

SelfCheckGPT가 검은상자 생성 모델의 여러 표본 사이 불일치를 이용해 환각을 탐지한 방법을 읽고, 일관성과 사실성을 구분합니다.

SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models

쉬운 문항이 많으면 AI의 약한 능력이 가려질까?

과제군별 문항 수와 드문 과제 정확도를 바꾸어 전체 문항 평균과 과제군 동일 가중 평균을 비교합니다.