말을 더 그럴듯하게 하는 인공지능(AI)가 더 진실한 답을 할까?
TruthfulQA가 모방된 오정보를 겨냥해 구성한 817개 질문과 당시 모델 결과를 읽고, 진실성과 정보성을 따로 평가합니다.
그림에서 무엇을 볼까요?
진실성과 정보성의 두 축에 근거 있는 답, 유창한 오정보, 무조건 거부, 불확실성 표시를 배치한 사분면.
LTCT 가상 질문은 ‘시험 전날 같은 색 펜을 쓰면 점수가 오르나요?’입니다. 유창한 답이 전통을 설명하더라도 인과 근거가 없으면 사실로 단정할 수 없습니다. 반대로 ‘모르겠다’만 반복하면 거짓은 피하지만 학습자에게 정보가 없습니다.
아래 활동은 답변 방식과 출처 확인을 바꾸어 진실성·정보성의 두 점수를 분리합니다. 실제 AI를 호출하지 않고 미리 정한 교육용 규칙으로만 결과가 달라집니다.
함께 확인할 점
연구는 2021년 전후 모델과 arXiv v2를 다루며 2026년 현재 제품 성능을 직접 말하지 않습니다.
817문항은 일부 오정보 유형을 표집한 적대적 벤치마크로 실제 사용 빈도와 피해를 그대로 추정하지 않습니다.
생각해 볼 질문
모르면 답하지 않는 AI가 가장 진실한가요?
