통합검색

AI를 평가할 때, 예측 시점에는 몰랐던 결과를 학습에 써도 될까?

6월 말에 사용할 AI를 평가한다고 가정합니다. 8월에야 확인된 고객의 이용 결과까지 학습 자료에 넣으면 무엇이 잘못되는지 살펴봅니다.

인공지능(AI)에게 같은 질문을 여러 번 하면 꾸며낸 사실을 찾을 수 있을까?

SelfCheckGPT가 검은상자 생성 모델의 여러 표본 사이 불일치를 이용해 환각을 탐지한 방법을 읽고, 일관성과 사실성을 구분합니다.

SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models

쉬운 문항이 많으면 AI의 약한 능력이 가려질까?

과제군별 문항 수와 드문 과제 정확도를 바꾸어 전체 문항 평균과 과제군 동일 가중 평균을 비교합니다.

말을 더 그럴듯하게 하는 인공지능(AI)가 더 진실한 답을 할까?

TruthfulQA가 모방된 오정보를 겨냥해 구성한 817개 질문과 당시 모델 결과를 읽고, 진실성과 정보성을 따로 평가합니다.

TruthfulQA: Measuring How Models Mimic Human Falsehoods

같은 사람의 기록이 학습과 시험에 나뉘면 AI 점수가 부풀까?

사람 수·기록 수·시험 비율을 바꾸어 기록 단위 무작위 분할에서 같은 사람이 양쪽에 걸칠 가능성을 계산합니다.