새로운 사실을 배운 인공지능(AI)는 거꾸로 물어도 답할까?

연구를 읽는 두 가지 질문

같은 대상과 같은 부류는 다릅니다

LTCT의 가상 자료에서 「별빛정원」이라는 제목은 책 한 권을 가리키며, 단독 저자가 서린이라고 명시합니다. 질문을 ‘누가 그 책을 썼는가?’에서 ‘서린이 쓴 책 가운데 지금 말한 책은 무엇인가?’로 바꾸어도 같은 사실을 사용할 수 있습니다. 서린이 다른 책도 썼을 가능성은 남아 있으므로 ‘서린의 유일한 책’이라고 바꾸면 원래 정보에 없는 조건을 더하게 됩니다.

반면 ‘서린은 작가다’라는 문장에서 ‘작가는 모두 서린이다’를 끌어내는 것은 다른 문제입니다. 한 사람이 어떤 부류에 속한다는 사실은 그 부류 전체가 그 사람과 같다는 뜻이 아닙니다. 논문의 이름·설명 실험을 읽을 때도 대상 식별과 일반 조건문의 역을 섞지 않아야 합니다. 잘못된 역추론을 못 한다는 사실은 모델의 결함을 보여 주는 시험이 아닙니다.

그림은 동일한 사실을 묻는 방향 바꾸기와 허용되지 않는 범위 확대를 나눕니다. 실제로 모델을 비교하려면 학습 자료와 질문 문맥, 이름의 중복 여부, 정답의 허용 범위, 여러 번 실행하는 방식을 먼저 정해야 합니다. 이번 글에서는 새 모델을 실행하거나 점수를 측정하지 않았습니다. 논문의 평가 질문을 이해하기 위한 자체 사례입니다.

직접 활동에서는 카드 앞면에 책 제목을, 뒷면에 저자를 적어 봅니다. 같은 저자가 쓴 책이 두 권이면 저자만 보고 한 제목으로 확정할 수 없는 이유도 설명합니다. 관계의 방향만 바뀌었는지, 질문이 유일성이라는 새 조건을 요구하는지를 먼저 확인한 뒤 AI 답변을 평가해야 합니다. 질문의 논리적 조건을 정리하는 일이 성능 비교에 앞섭니다.