AI 내부 특징에 붙인 이름은 어떻게 검증할까?

그림에서 무엇을 볼까요?

활성 사례 관찰에서 임시 특징 이름을 만들고 미공개 문장 검사와 반례를 거쳐 이름을 수정하는 검증 흐름 그림

언어모델의 어떤 내부 방향이 ‘강을 건너는 다리’에서 0.92로 크게 활성화되었다고 합시다. 그 수치는 정한 방법으로 측정한 내부 값이고, ‘다리 구조물 특징’이라는 말은 사람이 사례를 보고 붙인 해석입니다. 값 자체에 한국어 이름표가 들어 있는 것은 아닙니다. 최고 사례 하나만 보면 구조물, ‘다리’라는 글자, 서로 잇는 의미 가운데 무엇에 반응했는지 구분하기 어렵습니다.

Bricken 외의 2023년 공개 연구는 1층 변환기의 활성에서 희소 오토인코더로 특징 후보를 추출했습니다. 연구진은 뉴런 하나가 여러 무관한 문맥에 반응하는 다의성을 문제로 삼고, 추출 특징이 더 해석 가능한 분석 단위가 되는지 조사했습니다. 이 글은 그 연구 결과를 그대로 재현하지 않습니다. 대신 ‘활성 사례를 보고 가설을 세운 뒤 다른 자료로 검사한다’는 연구 절차를 여섯 문장의 교육용 모형으로 재구성합니다.