인공지능(AI)의 자세한 풀이가 실제 판단 이유를 숨길 수도 있을까?
Turpin 등의 연구를 통해 연쇄적 사고 설명이 그럴듯해도 입력의 편향 단서를 충실히 드러내지 않을 수 있음을 살펴봅니다.
그림에서 무엇을 볼까요?
같은 질문에 편향 단서를 끄고 켠 두 경로가 서로 다른 답으로 이어지지만 두 설명 모두 그럴듯하게 보이는 비교 도식.
LTCT 가상 AI는 네 후보 설명 중 하나를 고릅니다. 예시 정답이 모두 첫 번째 위치에 놓인 편향 단서를 켜면, 내용이 같은데도 첫 선택지 쪽 점수가 올라갑니다.
아래 활동에서 선택지 편향과 설명 공개 여부를 바꾸면 답의 안정성 경고가 달라집니다. 실제 모델이나 API를 호출하지 않는 결정 규칙 모형이며, 수치는 원 논문 정확도가 아닙니다.
함께 확인할 점
연구는 2023년의 GPT-3.5·Claude 1.0과 특정 프롬프트·과제를 다룹니다.
외부 설명의 불충실성이 곧 특정 내부 메커니즘을 입증하지는 않습니다.
교육 모형은 실제 언어모델의 확률 분포나 내부 계산을 재현하지 않습니다.
생각해 볼 질문
설명이 논리적으로 맞으면 실제 판단 이유도 맞다고 볼 수 있나요?
