AI의 설명과 내부 계산은 같을까?

설명문 바깥에서 단서를 찾기

AI에게 이유를 물으면 읽기 쉬운 설명을 받을 수 있습니다. 하지만 설명문이 실제 계산의 모든 단계를 그대로 옮긴 기록인지는 별도로 확인해야 합니다. 공개 연구에서는 답변에 영향을 준 힌트를 모델이 설명에서 언급하지 않는 사례도 관찰되었습니다. 따라서 설명의 타당성과 내부 계산에 대한 충실성은 서로 다른 질문입니다.

참고 · Anthropic — 추론 모델의 설명은 언제 충실한가? ↗

달라스에서 텍사스, 그리고 오스틴

앤트로픽의 2025년 연구는 Claude 3.5 Haiku의 일부 과제를 분석했습니다. ‘달라스가 있는 주의 주도는 어디인가?’라는 질문에서 연구진은 달라스와 텍사스의 관계, 텍사스와 오스틴의 관계에 해당하는 내부 특징을 관찰했습니다. 중간의 텍사스 관련 특징을 캘리포니아 관련 특징으로 바꾸는 개입에서는 출력이 새크라멘토로 달라지는 사례를 보고했습니다.

아래 그림은 이 사례의 개념 관계를 단순하게 재구성한 것입니다. 관찰 단계와 개입 단계를 나누어 보세요. 입력 문장에서 도시 이름을 고치는 것과 내부 특징에 개입하는 것은 다릅니다. 이 페이지는 내부 개입을 실행하지 않으며, 연구에서 보고한 조건과 결과를 읽는 활동입니다.

참고 · Anthropic — 언어모델 내부 계산의 일부 추적하기 ↗

일부를 보았다는 사실의 가치

내부 계산을 추적하는 방법은 모델의 행동에 대한 가설을 시험할 새로운 단서를 줍니다. 동시에 해당 연구는 관찰한 계산이 전체의 일부이고, 분석 도구 자체의 한계도 있음을 설명합니다. 작은 그래프 하나를 모든 언어모델의 일반적인 사고 방식으로 확대해서 읽어서는 안 됩니다.

지원되는 공개 모델을 분석하는 도구도 공개되어 있습니다. 심화 탐구에서는 원문 사례를 먼저 읽고, 어떤 모델과 입력을 사용했는지, 무엇을 관찰했고 무엇을 바꾸었는지, 결과가 어디까지 뒷받침하는지를 정리하는 순서가 좋습니다.

참고 · Anthropic · Decode Research — 공개된 내부 계산 추적 도구 ↗