활성값과 사람이 붙인 이름은 다르다
언어모델의 어떤 내부 방향이 ‘강을 건너는 다리’에서 0.92로 크게 활성화되었다고 합시다. 그 수치는 정한 방법으로 측정한 내부 값이고, ‘다리 구조물 특징’이라는 말은 사람이 사례를 보고 붙인 해석입니다. 값 자체에 한국어 이름표가 들어 있는 것은 아닙니다. 최고 사례 하나만 보면 구조물, ‘다리’라는 글자, 서로 잇는 의미 가운데 무엇에 반응했는지 구분하기 어렵습니다.
Bricken 외의 2023년 공개 연구는 1층 변환기의 활성에서 희소 오토인코더로 특징 후보를 추출했습니다. 연구진은 뉴런 하나가 여러 무관한 문맥에 반응하는 다의성을 문제로 삼고, 추출 특징이 더 해석 가능한 분석 단위가 되는지 조사했습니다. 이 글은 그 연구 결과를 그대로 재현하지 않습니다. 대신 ‘활성 사례를 보고 가설을 세운 뒤 다른 자료로 검사한다’는 연구 절차를 여섯 문장의 교육용 모형으로 재구성합니다.
직접 확인하기에서 사례를 한 개부터 늘려 보세요. 둘째부터 넷째 사례는 논증·시스템·팀을 ‘잇는’ 문맥이라 ‘서로 잇기 특징’이라는 이름이 그럴듯해집니다. 그러나 그 이름은 아직 임시 가설입니다. 연구 원문도 최대 활성 사례에만 집중하면 낮은 활성 구간에서 드러나는 여러 의미를 놓칠 수 있어 활성 범위 전반에서 표본을 골라 평가했다고 설명합니다.
참고 · Trenton Bricken 외 / Anthropic — 활성 사례에서 특징 해석을 만들고 새 사례로 검사하기 ↗
다섯째 사례가 이름을 흔드는 방식
다섯째 ‘다리 근육을 천천히 편다’도 0.82로 높게 활성화됩니다. 여기의 다리는 두 대상을 잇는 구조물이나 추상적 연결이 아니라 신체 부위입니다. 따라서 ‘연결 의미’ 하나로 모든 높은 활성을 설명한다는 가설에는 반례가 생깁니다. 특징이 ‘다리’라는 같은 표기에 반응할 수도 있고, 서로 다른 성질이 섞였을 수도 있으며, 우리가 보지 못한 더 나은 공통점이 있을 수도 있습니다.
미공개 검사 문장을 바꾸면 가설이 서로 다른 예측을 내게 만들 수 있습니다. ‘두 주장을 연결한다’가 높으면 연결 의미 가설에 힘이 실립니다. ‘다리가 아프다’도 높다면 표기 가설이나 혼합 가설을 함께 고려해야 합니다. ‘상자 두 개를 따로 둔다’가 낮은 값인 것은 대조 자료입니다. 화면에는 0.84·0.79·0.05라는 고정 결과를 공개하므로 실제 AI를 시험한 것처럼 읽어서는 안 됩니다.
원 연구는 사람이 붙인 해석의 자신감·활성과의 일관성·출력 가중치와의 일관성·구체성을 함께 평가했고, 설명으로 이전에 보지 않은 토큰의 활성을 예측하는 자동 평가도 사용했습니다. 또한 특징을 0으로 만드는 절제와 높은 값으로 고정하는 실험을 통해 모델의 다음 계산에 미치는 영향도 교차 확인했습니다. 보기 좋은 이름 하나보다 서로 다른 종류의 검사가 더 강한 근거를 만듭니다.
참고 · Trenton Bricken 외 / Anthropic — 활성 사례에서 특징 해석을 만들고 새 사례로 검사하기 ↗
특징 지도와 전체 사고과정을 구분하기
특징 하나가 해석 가능해도 모델의 전체 계산을 읽었다는 뜻은 아닙니다. 어떤 특징은 더 세분될 수 있고, 활성은 자료의 규칙성과 모델이 만든 변환을 함께 반영할 수 있습니다. 원문도 무작위 가중치 모델과 비교하고, 활성뿐 아니라 뒤쪽 출력 효과를 살펴 자료의 상관과 모델의 사용을 구분하려 했습니다. 결론의 범위는 사용한 모델·층·특징 추출법·입력과 검사 방식에 묶여 있습니다.
AI가 스스로 말한 ‘내가 이렇게 생각했다’는 설명문, 연구자가 내부 활성에서 추출한 특징, 이 페이지의 고정 모형은 세 가지 다른 대상입니다. 설명문을 내부 기록으로 단정하지 말고, 특징 시각화를 완전한 생각의 영상으로 소개하지도 마세요. 다른 연구를 읽을 때는 어떤 값이 실제 측정인지, 특징 이름을 누가 어떻게 붙였는지, 미공개 사례와 개입으로 검증했는지, 실패 사례가 공개됐는지를 적어 보세요. 해석은 결론이 아니라 계속 틀릴 수 있게 열어 둔 가설일 때 더 유용합니다.