논리적 사고

인공지능(AI)에게 같은 질문을 여러 번 하면 꾸며낸 사실을 찾을 수 있을까?

SelfCheckGPT가 검은상자 생성 모델의 여러 표본 사이 불일치를 이용해 환각을 탐지한 방법을 읽고, 일관성과 사실성을 구분합니다.

그림에서 무엇을 볼까요?

하나의 질문에서 나온 네 가상 답변을 서로 비교해 일치와 충돌을 표시한 행렬.

가상 도서관의 개관 연도를 묻자 네 답 중 둘은 1928년, 하나는 1982년, 하나는 ‘확인되지 않음’이라고 했다고 합시다. 답변 표본을 추가할수록 충돌 비율이 달라집니다.

아래 활동의 문장과 계산은 LTCT가 만든 결정적 교육 모형입니다. 실제 AI나 API를 호출하지 않으며 논문의 성능 수치를 재현하지 않습니다.

2023년 GPT-3·WikiBio 중심 결과를 이후 모델과 모든 주제로 일반화할 수 없습니다.

표본 간 일치는 진실의 충분조건이 아니며, 공유된 통념 오류와 같은 프롬프트 편향을 놓칠 수 있습니다.

답변을 많이 뽑아 다수결하면 정확해지나요?