논리 규칙 하나씩 시험하면 언어모델의 약점이 더 선명해질까?

그림에서 무엇을 볼까요?

전체 정확도가 명제논리, 1차논리, 비단조논리의 규칙별 진단 칸으로 분해되는 그림

규칙이 ‘P이면 Q’이고 사실이 ‘Q가 아니다’라면 ‘P가 아니다’는 대우로 타당합니다. 하지만 ‘Q다’에서 ‘P다’를 얻는 것은 후건긍정 오류입니다. 겉으로 같은 두 기호를 쓰지만 추론 방향이 다릅니다.

긴 이야기에서 모델이 오답을 내면 이 방향을 혼동했는지 다른 문장을 놓쳤는지 알기 어렵습니다. 한 규칙 문제를 여러 표면 문장으로 바꾸어 시험하면 규칙 이해와 특정 단어 암기를 어느 정도 분리할 수 있습니다.