정보가 보인다는 것과 출력에 원인으로 쓰였다는 것은 다르다
로봇 정비소의 연구자가 한 모델의 중간 표현에서 ‘항구 도시’ 정보를 읽어냈다고 해 봅시다. 탐침이 정보를 분류할 수 있다는 사실은 그 표현에 관련 신호가 있음을 보여 줍니다. 그러나 원래 모델이 답을 만들 때 그 신호를 실제로 사용했는지는 별도의 질문입니다.
Vig 등은 구조를 읽는 분석과 출력 행동을 보는 분석의 간격을 지적하고, 입력과 내부 매개변수에 통제된 개입을 가해 출력 변화의 직접·간접 효과를 살피는 방법을 제안했습니다. 개입은 단순 동시 발생보다 강한 근거를 주지만, 지정한 모델·입력 집합·매개변수와 결과 척도 안에서 해석됩니다.
중간 상태 하나를 깨끗한 값으로 복원해 원래 답이 돌아왔다면 그 상태가 해당 실행의 결과에 인과적으로 기여했다는 근거가 됩니다. 이 결과만으로 그 지점이 모든 사실의 유일한 저장소이거나 모델의 전체 사고 과정이라고 단정할 수는 없습니다.
복원 성공과 지식 편집 성공은 서로 다른 시험이다
Meng 등은 사실 문장을 정상 실행하고, 주어 표현을 잡음으로 오염시킨 실행과, 선택한 내부 상태만 정상 값으로 복원한 실행을 비교했습니다. 복원 뒤 정답 확률이 얼마나 돌아오는지로 특정 상태의 간접 효과를 계산했습니다. 이어서 중간층 순방향 모듈의 가중치를 편집해 특정 사실 연상을 바꾸는 ROME을 제안했습니다.
논문은 편집 평가에서 한 문장만 바뀌었는지에 머물지 않습니다. 같은 사실을 바꿔 말한 문장에도 변화가 이어지는 일반화, 관계없는 이웃 지식이 유지되는 특이성을 함께 봅니다. 대상 표현 네 개 중 세 개가 바뀌면 일반화는 75%이고, 이웃 네 개 중 두 개만 유지되면 특이성은 50%입니다.
일반화가 높고 특이성이 낮다면 원하는 변화가 넓게 퍼졌지만 부작용도 컸다는 뜻입니다. 반대로 한 문장에서만 성공하면 국소 사례의 성공은 확인했지만 표현 변화에 견디는 편집인지 알기 어렵습니다. 성공의 분모를 먼저 정해야 합니다.
참고 · Kevin Meng, David Bau, Alex Andonian, Yonatan Belinkov — 사실 연상의 위치 추적과 편집을 함께 시험하기 ↗
국소 인과 근거를 넓힐 때는 범위를 단계별로 표시한다
아래 활동은 기준 실행, 중간 상태 복원, 가중치 한 곳 편집, 다른 층 편집의 가상 결과를 보여 줍니다. 대상 표현과 이웃 지식을 나누어 눌러 보면 같은 ‘성공’도 질문에 따라 의미가 달라집니다. 표의 수치는 논문 결과를 복제한 값이 아니라 평가 구조를 익히기 위한 자체 자료입니다.
해석을 넓히려면 최소한 여러 문장 표현, 여러 관계, 다른 주제, 다른 자료와 모형에서 결과가 반복되는지 확인해야 합니다. 개입 위치를 바꾸고 음성 대조 조건을 두며, 출력 하나뿐 아니라 예기치 않은 행동 변화도 기록해야 합니다. 내부 구성요소들이 함께 작용한다면 한 지점의 평균 효과와 전체 회로 설명 사이에도 간격이 생깁니다.
설명 가능한 인공지능 보고서를 읽을 때 ‘어디를 개입했는가, 무엇을 측정했는가, 몇 개 입력에서 반복했는가, 이웃 행동은 유지됐는가’를 적어 보세요. 이 네 질문이 관찰 한 건을 재현 가능한 범위 주장으로 바꾸는 출발점입니다.
복원과 편집도 구분해야 합니다. 복원은 이미 관찰한 정상 상태를 다시 넣어 해당 실행의 경로를 시험하고, 편집은 매개변수 자체를 바꾸어 이후 입력의 행동을 수정합니다. 전자는 위치 추적의 근거, 후자는 지속되는 변화와 부작용의 근거를 더 요구합니다. 같은 초록색 성공 표시라도 어떤 조작을 했는지, 비교 기준이 무엇인지, 실패 사례를 포함했는지에 따라 허용되는 결론이 달라집니다.
참고 · Kevin Meng, David Bau, Alex Andonian, Yonatan Belinkov — 사실 연상의 위치 추적과 편집을 함께 시험하기 ↗