통합검색

말을 더 그럴듯하게 하는 인공지능(AI)가 더 진실한 답을 할까?

TruthfulQA가 모방된 오정보를 겨냥해 구성한 817개 질문과 당시 모델 결과를 읽고, 진실성과 정보성을 따로 평가합니다.

TruthfulQA: Measuring How Models Mimic Human Falsehoods

같은 사람의 기록이 학습과 시험에 나뉘면 AI 점수가 부풀까?

사람 수·기록 수·시험 비율을 바꾸어 기록 단위 무작위 분할에서 같은 사람이 양쪽에 걸칠 가능성을 계산합니다.

AI가 문장을 인용해도 앞뒤 문맥이 빠지면 근거가 될까?

핵심 문장·적용 조건·예외를 넣고 빼며 인용이 주장 전체를 실제로 받치는지 확인합니다.

AI가 여러 번 시도해 하나를 맞히면 한 번의 실력도 같은 걸까?

한 번의 성공 확률과 시도 횟수를 바꾸어 한 번 성공할 가능성과 단일 시도 실력을 분리합니다.

인공지능(AI)에게 원칙을 주면 안전한 답이 자동으로 보장될까?

Constitutional AI 공개본의 비판·수정과 AI 피드백 강화학습 절차를 구분하고, 원칙 선택과 평가의 남은 한계를 살핍니다.

Constitutional AI: Harmlessness from AI Feedback