통합검색

AI를 평가할 때, 예측 시점에는 몰랐던 결과를 학습에 써도 될까?

6월 말에 사용할 AI를 평가한다고 가정합니다. 8월에야 확인된 고객의 이용 결과까지 학습 자료에 넣으면 무엇이 잘못되는지 살펴봅니다.

인공지능(AI)에게 같은 질문을 여러 번 하면 꾸며낸 사실을 찾을 수 있을까?

SelfCheckGPT가 검은상자 생성 모델의 여러 표본 사이 불일치를 이용해 환각을 탐지한 방법을 읽고, 일관성과 사실성을 구분합니다.

SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models

내가 고르지 않은 선택도 내 선택이라고 믿고 설명할 수 있을까?

Johansson 등의 선택맹 실험에서 선택 결과가 몰래 바뀌어도 이를 놓치고 이유를 말한 현상을 읽고, 선택 기록과 사후 설명을 구분합니다.

Failure to Detect Mismatches Between Intention and Outcome in a Simple Decision Task

쉬운 문항이 많으면 AI의 약한 능력이 가려질까?

과제군별 문항 수와 드문 과제 정확도를 바꾸어 전체 문항 평균과 과제군 동일 가중 평균을 비교합니다.

AI가 만든 JSON이 문법에 맞으면 실제 규칙도 맞을까?

필수 필드·자료형·값 범위·업무 조건을 바꾸어 구조 검증과 의미 검증이 어디서 갈리는지 살핍니다.