논리적으로 같은 문장을 조금 바꾸면 인공지능(AI) 답도 그대로일까?
RobustLR는 최소 논리 편집과 동치 변환으로 연역 모델의 일관성을 검사했고, 학습된 모델들이 특히 부정에서 흔들림을 보였습니다.
그림에서 무엇을 볼까요?
원문과 대우 이중부정 무관사실 변형이 같은 정답 노드에 모이고 부정 변형의 불일치가 따로 표시된다.
LTCT 예시에서 원문은 “모든 빨간 카드는 원이다. a는 빨갛다. 따라서 a는 원이다”입니다. 변형은 조건문의 대우, 이중부정 제거, 무관 사실 추가처럼 정답이 유지돼야 하는 경우로 만듭니다.
그림은 원문과 세 변형이 같은 정답 합류점에 닿아야 함을 보이고, 부정 변형에서만 답이 바뀌는 오류 경로를 별도 표시합니다.
함께 확인할 점
벤치마크의 변형 집합은 논리 강건성 전체를 대표하지 않으며 자연언어 모호성도 남습니다.
2022년 모델 결과를 2026년 모델의 성능으로 표현해서는 안 됩니다.
생각해 볼 질문
원문과 변형을 둘 다 틀리면 일관성 점수는 높을 수 있을까요?
익숙한 내용이면 논리도 더 잘 보일까?
정답을 잘 고르는 인공지능(AI)는 반례도 잘 만들까?
필요 없는 숫자 하나가 인공지능(AI)의 답을 흔들까?