
그럴듯한 AI 해설은 실제 판단 이유와 같을까
마일스 터핀 등의 연구는 언어모델이 출력한 단계별 설명이 답에 영향을 준 요인을 충실하게 드러내는지 묻습니다. 저자들은 입력의 편향 요소가 답에 영향을 주었는데도 설명에서는 그 영향이 언급되지 않는 사례를 보고합니다. 설명의 설득력과 판단 이유에 대한 충실성을 구분해 읽을 수 있는 논문입니다.
언어모델은 생각한 대로 항상 말하지 않는다 — Language Models Don’t Always Say What They Think: Unfaithful Explanations in Chain-of-Thought Prompting


