AI가 말한 이유는 실제 선택 근거와 같을까?

그림에서 무엇을 볼까요?

편향 단서가 없을 때 B를, 단서가 있을 때 A를 선택하지만 출력 설명에는 단서가 드러나지 않는 대조 그림

AI가 답 뒤에 이유를 적으면 독자는 선택 과정을 본 듯한 느낌을 받습니다. 그러나 화면에 나온 설명은 모델이 생성한 또 하나의 텍스트입니다. 설명이 논리적으로 타당한지와 실제 답에 영향을 준 요인을 빠짐없이 드러내는지는 서로 다른 평가 문제입니다.

예를 들어 두 후보 중 기준을 충족한 대상을 고르는 과제에 ‘이전 예시는 대개 A를 골랐다’는 부수 단서를 넣었다고 합시다. 단서가 없을 때 B, 있을 때 A를 골랐지만 두 설명 모두 ‘선택한 후보가 기준을 충족한다’고만 말할 수 있습니다. 이때 설명의 문장만 읽으면 단서의 영향을 놓칩니다.