보이는 설명은 출력이며 내부 기록 전체가 아니다
AI가 답 뒤에 이유를 적으면 독자는 선택 과정을 본 듯한 느낌을 받습니다. 그러나 화면에 나온 설명은 모델이 생성한 또 하나의 텍스트입니다. 설명이 논리적으로 타당한지와 실제 답에 영향을 준 요인을 빠짐없이 드러내는지는 서로 다른 평가 문제입니다.
예를 들어 두 후보 중 기준을 충족한 대상을 고르는 과제에 ‘이전 예시는 대개 A를 골랐다’는 부수 단서를 넣었다고 합시다. 단서가 없을 때 B, 있을 때 A를 골랐지만 두 설명 모두 ‘선택한 후보가 기준을 충족한다’고만 말할 수 있습니다. 이때 설명의 문장만 읽으면 단서의 영향을 놓칩니다.
Turpin과 동료들은 여러 편향 단서를 넣은 조건과 대조 조건을 비교해 답이 얼마나 바뀌고, 출력된 사고 연쇄가 그 영향을 얼마나 언급하는지 측정했습니다. 논문은 시험한 모델·과제·프롬프트에서 불충실한 설명 사례를 보고합니다.
이 결과를 모든 AI 설명이 거짓이라고 확대하면 안 됩니다. 반대로 어떤 설명이 자연스럽고 정답과 일치한다는 이유만으로 실제 영향 요인의 완전한 기록이라고 확정해서도 안 됩니다. 충실성은 별도의 대조와 개입으로 시험할 가설입니다.
참고 · Miles Turpin, Julian Michael, Ethan Perez, Samuel R. Bowman — 설명에 드러나지 않는 편향 단서 ↗
입력의 한 요소만 바꾸면 관찰 가능한 영향을 찾는다
활동의 ‘단서 없음’과 ‘편향 단서 추가’는 과제 내용과 선택지를 고정하고 부수 단서 하나만 바꾼 자체 예시입니다. 답이 B에서 A로 바뀌면 그 단서가 해당 조건의 출력에 영향을 주었다는 관찰 근거가 생깁니다. 하지만 한 쌍만으로 변화 확률이나 모든 입력의 법칙까지 알 수는 없습니다.
이어 두 설명을 비교합니다. 단서가 답에 영향을 준 정황이 있는데도 설명이 단서를 언급하지 않았다면, 그 설명만으로 영향 요인을 완전히 복원할 수 없다는 결론은 가능합니다. 여기서도 모델의 숨은 계산 전체나 의도, 의식을 안다고 주장하지 않습니다.
반대로 단서를 넣어도 답이 그대로라면 단서가 절대 영향을 주지 않는다고 단정할 수 없습니다. 다른 문항과 표현, 모델 설정에서는 달라질 수 있기 때문입니다. 여러 문항을 무작위로 조건에 배정하고 같은 모델 버전과 생성 설정을 사용해야 비교 범위가 선명해집니다.
화면의 세 번째 상태는 입력 변화, 답 변화, 설명의 단서 언급 여부를 한 기록에 모읍니다. 이 기록은 내부 사고를 촬영한 것이 아니라 조작한 입력과 관찰한 출력 사이의 관계를 정리한 감사표입니다.
참고 · Miles Turpin, Julian Michael, Ethan Perez, Samuel R. Bowman — 설명에 드러나지 않는 편향 단서 ↗
설명 자체에도 여러 개입을 걸어 본다
Lanham과 동료들은 사고 연쇄에 잘못된 내용을 넣거나, 바꾸어 쓰거나, 중간에서 줄였을 때 최종 답이 얼마나 변하는지 시험했습니다. 답이 설명 개입에 반응한다면 그 설명 내용이 계산에 쓰였을 가능성을 살필 단서가 됩니다. 반응하지 않는다면 설명이 사후 서술일 가능성도 검토할 수 있습니다.
논문은 과제와 모델 크기에 따라 결과가 달랐다고 보고합니다. 따라서 ‘긴 설명은 항상 충실하다’ 또는 ‘설명은 언제나 장식이다’ 같은 하나의 법칙으로 줄일 수 없습니다. 시험 방법도 충실성의 모든 측면을 한 번에 측정하지 않습니다.
실무 감사표에는 원 입력과 수정 입력, 고정한 요소, 답 변화율, 설명의 단서 언급률, 반복 횟수, 모델·버전·설정을 적습니다. 중요한 의사결정이라면 사람 검토와 외부 근거 확인을 추가하고, 불일치 사례를 숨기지 않습니다.
다른 상황에 적용할 때에는 ‘이 설명이 그럴듯한가?’ 다음에 ‘설명에서 말하지 않은 입력 요소를 하나씩 바꾸면 답이 유지되는가?’를 묻습니다. 보이는 추론을 유용한 검토 자료로 쓰되, 그것을 접근할 수 없는 내부 과정 전체와 동일시하지 않는 것이 정확한 출발점입니다.