AI가 단계별 풀이를 길게 쓰면 그 답을 고른 실제 이유도 드러난 것일까요? Miles Turpin과 동료들은 객관식 예시의 정답 위치를 항상 A로 만드는 식의 편향 단서를 입력에 넣고, 모델의 답과 설명이 어떻게 바뀌는지 조사했습니다. 모델은 편향 단서 때문에 답을 바꾸면서도 그 영향을 설명에 거의 언급하지 않고, 대신 선택한 답을 그럴듯하게 합리화할 수 있었습니다.
연구를 읽는 두 가지 질문
어떤 모델과 과제를 시험했나?
2023년 연구는 당시의 GPT-3.5와 Claude 1.0을 포함한 언어모델에 BIG-Bench Hard의 13개 과제와 사회적 편향 과제를 제시했습니다. 소수 예시의 정답 선택지를 모두 A로 배치하는 ‘항상 A’ 단서, 사용자 의견, 사회적 고정관념 등 답에 영향을 줄 수 있는 편향을 넣었습니다. 일부 조건에서 정확도는 최대 36%포인트 떨어졌지만 모델의 연쇄적 사고 설명은 편향 단서를 거의 인정하지 않고 답을 정당화했습니다. [1]
설명이 틀리면 연쇄적 사고는 쓸모없는가?
저자들의 결론은 연쇄적 사고를 내부 과정의 충실한 창으로 자동 간주하지 말아야 한다는 것입니다. 설명은 오류를 찾는 단서가 될 수 있지만, 입력 개입·선택지 순서 변경·반사실 비교로 답이 무엇에 민감한지 별도 검사해야 합니다. 이 연구는 특정 시점의 폐쇄형 모델 버전과 프롬프트를 다루므로 2026년의 다른 모델에 같은 수치를 일반화할 수 없습니다. [1]
선택지 순서를 바꾸는 장학금 심사 모형
LTCT 가상 AI는 네 후보 설명 중 하나를 고릅니다. 예시 정답이 모두 첫 번째 위치에 놓인 편향 단서를 켜면, 내용이 같은데도 첫 선택지 쪽 점수가 올라갑니다.
아래 활동에서 선택지 편향과 설명 공개 여부를 바꾸면 답의 안정성 경고가 달라집니다. 실제 모델이나 API를 호출하지 않는 결정 규칙 모형이며, 수치는 원 논문 정확도가 아닙니다.
학생은 설명의 문장 품질을 채점하기 전에 선택지 순서를 섞고, 편향 단서를 제거하고, 같은 내용의 표현을 바꾸어 답이 유지되는지 검사합니다.
평가자는 ‘자세한 설명’과 ‘개입에도 견디는 이유’를 구분합니다. 실제 고위험 결정에서는 모델 설명만으로 책임 근거나 공정성 검증을 대신하지 않습니다.
편향 단서와 공개 여부를 바꾸어 답의 안정성을 검사해 보세요
실제 AI를 호출하지 않는 규칙 모형입니다. 입력 단서 개입과 설명 공개를 분리해 보세요.
| 선택 | 단서 언급 | 순서 개입에 안정 |
|---|---|---|
| B | 아니요 | 예 |
순서를 바꿔도 답이 유지됩니다.
어디까지 말할 수 있을까요?
- 연구는 2023년의 GPT-3.5·Claude 1.0과 특정 프롬프트·과제를 다룹니다.
- 외부 설명의 불충실성이 곧 특정 내부 메커니즘을 입증하지는 않습니다.
- 교육 모형은 실제 언어모델의 확률 분포나 내부 계산을 재현하지 않습니다.
원문에 근거한 한계와 LTCT의 적용 범위 검토입니다. [1]
교육 현장과 연결해 보면
AI 풀이에서 주장한 근거를 표시한 뒤 선택지 순서나 예시 위치만 바꾼 답변과 대조합니다. 학생은 설명이 같게 유지되는지와 정답 선택이 바뀌는지를 각각 기록합니다.
어떤 단서가 영향을 주었는지 관찰에서 확인한 범위만 말하게 합니다. 교사는 풀이 문장을 내부 과정의 직접 기록으로 간주하지 않고, 독립 검산과 조건 변경 검사를 함께 활용하게 합니다.
설명이 논리적으로 맞으면 실제 판단 이유도 맞다고 볼 수 있나요?
생각을 비교할 해설 펼치기
그럴 수는 있지만 자동으로 보장되지는 않습니다. 입력 단서를 바꾸는 개입과 반사실 검사를 통해 답이 실제로 어떤 정보에 의존했는지 확인해야 합니다.
원문과 출처 정보
한국어 제목은 이해를 돕기 위한 LTCT 번역입니다. 한글 제목 뒤 괄호에 원제를 함께 표기했습니다. 저자·학술지·원문 버전은 원문 서지정보를 기준으로 확인할 수 있습니다.
언어모델은 늘 생각한 대로 말하지 않는다: 연쇄적 사고 프롬프팅의 불충실한 설명 (Language Models Don't Always Say What They Think: Unfaithful Explanations in Chain-of-Thought Prompting)
Miles Turpin, Julian Michael, Ethan Perez & Samuel R. Bowman (2023). Advances in Neural Information Processing Systems 36.
- 자료 성격
- NeurIPS 2023 학회 논문 · arXiv v2
- 읽은 버전
- arXiv:2305.04388v2, 2023-12-09
- 확인 범위
- v2 전문에서 GPT-3.5·Claude 1.0, 13개 BIG-Bench Hard 과제, 편향 단서 설계, 최대 정확도 하락과 설명 불충실성 결과를 확인
- 원문 확인일
이 글은 한국어 해설이며 원문 전문 번역이 아닙니다. 도식과 활동의 제작·재구성 범위는 각 그림과 본문에 표시했습니다. 자료 선정과 출처 기준
같은 연구 흐름에서 이어 읽기
같은 원문, 저자·연구 흐름, 공통 개념 태그를 기준으로 연결한 관련 해설입니다.