인공지능(AI)가 쓴 풀이가 실제 판단 과정을 그대로 보여 줄까?

그림에서 무엇을 볼까요?

원래 규칙과 전제, 부정으로 바꾼 전제, 제거한 규칙의 세 개입에서 논리적으로 기대되는 결론 변화와 AI 답을 비교하도록 한 표.

가상의 AI가 ‘모든 P는 Q, 민은 P, 따라서 민은 Q’라고 답했습니다. 검수자는 중간 문장을 ‘민은 P가 아니다’로 바꾸거나, 첫 규칙을 제거하거나, 같은 뜻으로 바꾸어 씁니다. 답이 언제 달라지는지 기록하면 모델이 어느 정보에 민감한지 볼 수 있습니다.

그림은 원 풀이, 개입, 기대되는 논리적 변화와 실제 모델 답을 분리합니다. 부정 전제를 넣었는데도 같은 결론을 자신 있게 내면 자연어 풀이와 답의 연결을 의심할 수 있습니다. 그러나 한 사례의 실패로 모델 전체가 늘 거짓 설명을 쓴다고 선언할 수는 없습니다. 여러 문항과 무작위 개입이 필요합니다.