인과 추적 히트맵은 어느 위치를 복원했을 때 답이 돌아오는지 보여 줄까?

같은 질문을 세 번 실행해 차이를 만든다

모델이 “파리는 어느 나라의 수도인가?”에 ‘프랑스’를 높게 예측한다고 하자. 깨끗한 실행은 원문으로 얻은 기준 점수를 저장한다. 오염 실행은 ‘파리’ 토큰의 임베딩에 잡음을 넣거나 다른 개체로 바꾸어 정답 점수를 낮춘다. 복원 실행은 오염된 계산을 유지하면서 특정 토큰 위치·특정 층의 은닉 상태만 깨끗한 실행 값으로 되돌린다.

복원 뒤 정답 점수가 얼마나 돌아오는지를 모든 위치와 층에서 반복하면 히트맵이 된다. 행은 토큰 위치, 열은 층, 셀은 회복량이다. 이 글의 값은 절차를 설명하기 위해 만든 교육용 자료이며 특정 공개 모델의 실측 결과가 아니다.

복원 효과는 깨끗한 점수와 오염 점수 사이에서 잰다

정답 토큰의 확률이나 로짓을 지표로 정할 수 있다. 단순 회복량은 복원 점수에서 오염 점수를 뺀 값이고, 정규화 회복률은 이 값을 깨끗한 점수와 오염 점수의 차이로 나눈다. 분모가 매우 작으면 비율이 불안정하므로 깨끗한 실행이 실제로 목표 출력을 강하게 만들었는지 먼저 확인한다.

확률은 다른 후보 전체의 영향을 받고 0–1에 묶이며, 로짓 차이는 목표 후보와 대조 후보의 상대 변화를 직접 볼 수 있다. 어느 지표를 골라도 제목과 범례에 적고 그림 사이에서 바꾸지 않는다. 음의 회복량도 숨기지 말고 복원이 오히려 목표 점수를 낮췄다는 뜻으로 표시한다.

오염 방식이 바뀌면 히트맵의 질문도 바뀐다

임베딩에 가우시안 잡음을 더하는 방법은 원래 연구에서 여러 실행의 평균 효과를 볼 수 있지만 사람이 읽을 수 있는 반례 문장을 만들지는 않는다. ‘파리’를 ‘로마’로 바꾸면 입력 의미가 분명해지지만 토큰 수와 주변 문맥까지 달라질 수 있다. 마스크 토큰은 해당 모델의 훈련 방식에 따라 낯선 입력이 될 수 있다.

따라서 오염 종류, 크기, 난수 시드, 반복 수, 토큰 정렬 규칙을 기록한다. 한 오염 방식에서 밝은 셀이 다른 방식에서도 유지되는지 비교해야 한다. 결과가 크게 달라지면 “지식 위치”라고 이름 붙이기보다 “이 개입 설정에서 복원 효과가 큰 위치”라고 쓴다.

상태 하나와 모듈 묶음은 다른 복원 단위다

토큰 위치의 잔차 스트림 전체를 복원할 수도 있고, 한 층의 MLP 출력이나 어텐션 출력만 복원할 수도 있다. 잔차 전체 복원은 효과가 크기 쉽지만 어떤 구성요소가 기여했는지 분해하기 어렵다. 모듈별 복원은 질문이 좁아지는 대신 우회 경로와 상호작용을 놓칠 수 있다.

여러 연속 층을 동시에 복원하는 window 방식은 분산된 효과를 찾는 데 유용하다. 그러나 창 크기가 커지면 셀 하나가 여러 계산을 포함한다. 축에는 중심층과 창 범위를 함께 쓰고, 단일층 지도와 창 지도를 같은 값처럼 비교하지 않는다.

밝은 영역은 필요·충분·저장 위치를 한꺼번에 뜻하지 않는다

깨끗한 상태를 넣어 정답이 회복됐다면 그 상태가 오염 실행을 고치는 데 충분한 정보를 담았다는 증거가 된다. 하지만 다른 경로도 같은 답을 만들 수 있어 그 상태가 항상 필요한 것은 아니다. 반대로 한 상태를 제거했을 때 답이 무너지더라도 정보가 그곳에 영구 저장됐다는 뜻은 아니다.

중간층의 밝은 영역은 입력에서 출력으로 정보가 전달되는 경로의 한 지점일 수 있다. 지식이 가중치 어디에 저장됐는지 말하려면 가중치 편집, 다양한 프롬프트, 파라프레이즈, 특이성 검사를 함께 봐야 한다. ROME 연구도 인과 추적 뒤에 실제 가중치 편집과 평가를 연결했다.

LLM에는 세 실행과 축 정의를 모두 제공한다

완성된 히트맵 이미지만 주면 모델이 밝은 영역에 의미를 지어낼 수 있다. 깨끗한·오염된·복원된 점수 배열, 원시 토큰, 층 번호, 복원 단위, 오염 방식, 반복 수를 제공하고 먼저 분모가 0에 가까운 사례와 결측값을 찾게 한다.

요청문에는 “밝은 셀을 지식 저장소나 모델의 생각 위치라고 부르지 말 것”을 적는다. 각 셀에서 실제 복원 코드를 다시 실행할 수 있는 인덱스와 시드를 남기고, 상위 셀뿐 아니라 음의 효과와 무효 영역도 보고하게 한다.

평균 히트맵은 개별 사례의 다른 경로를 가릴 수 있다

여러 개체와 관계의 회복률을 평균하면 공통 영역을 볼 수 있지만 사례마다 밝은 위치가 다르면 평균이 넓고 흐릿해진다. 일부 강한 사례가 평균을 끌어올릴 수도 있다. 개별 지도, 중앙값 지도, 사례별 최대 위치 분포를 함께 제공한다.

토큰 길이가 다른 문장을 억지로 같은 행에 맞추면 위치 의미가 섞인다. 주제 개체의 첫 토큰·마지막 토큰·마지막 입력 위치처럼 역할 기준으로 정렬하고, 정렬할 수 없는 사례는 별도 패널로 둔다. 평균 전에 제외 규칙을 정하고 제외 수를 기록한다.

수정 전후는 개입 문장과 범례에서 갈린다

수정 전 그림은 축을 “단어×사고 단계”로 적고 밝은 셀을 “프랑스 지식이 저장된 곳”이라고 불렀다. 잡음 크기, 목표 점수, 복원 단위, 정규화 분모가 없었으며 한 시드 결과만 사용했다.

수정 후에는 “토큰 위치×층의 잔차 상태 복원에 따른 목표 로짓 차이 회복률”이라고 제목을 바꿨다. 깨끗한·오염 점수, 오염 방식, 시드 평균, 음수 범례를 붙이고 “이 설정에서 복원 효과가 큰 영역”으로 설명을 제한했다.

공개 전에는 대조 실험과 경계 입력을 실행한다

오염이 거의 효과를 내지 않는 입력에서는 정규화 회복률을 그리지 않거나 경고한다. 깨끗한 상태 대신 무관한 다른 상태를 넣는 대조, 층과 위치를 무작위로 섞는 대조, 시드 반복을 수행한다. 상위 셀 주변의 인접 층과 위치에서 효과가 연속적인지도 본다.

모바일에서는 긴 토큰 라벨을 말줄임표로 숨기지 않고 내부 이동 영역과 원문 목록을 제공한다. 키보드로 위치와 층을 선택해 깨끗함·오염·복원 점수와 계산식을 읽을 수 있어야 한다. 마지막으로 모든 “인과” 문장이 실제 개입 결과와 연결되는지 확인한다.

복사해서 쓸 수 있는 LLM 요청문

아래 요청문은 교육용 예시다. 원문을 함께 제공하고, 모델이 빈칸을 추측하지 않도록 금지 조건을 넣었다. 결과를 받으면 원문 문장과 노드·선의 대응을 사람이 다시 확인한다.

인과 추적 배열을 히트맵으로 정리해 줘.
1. 모델·체크포인트·프롬프트·원시 토큰·목표와 대조 토큰을 적는다.
2. 깨끗한 실행, 오염 실행, 복원 실행의 점수와 단위를 분리한다.
3. 오염 방식·세기·난수 시드·반복 수와 복원 단위·층 창을 적는다.
4. 회복량과 정규화 회복률을 다시 계산하고 분모가 작은 사례를 경고한다.
5. 행은 토큰 위치, 열은 층으로 쓰고 음의 효과와 결측도 표시한다.
6. 상위 셀만 골라내지 말고 무관 복원·무작위 위치 대조를 함께 보여 준다.
7. 밝은 셀을 지식 저장소, 사고 단계, 유일한 원인으로 단정하지 않는다.
8. 사례·반례·시드별 안정성과 추가 제거 실험을 적는다.

[세 실행 점수와 위치×층 배열] …

직접 실습하고 결과를 읽기

이 실습은 브라우저 안에 준비한 교육용 자료만 사용한다. 외부 LLM을 호출하거나 실제 기관 자료를 조회하지 않는다. 입력을 바꾸어 결과가 어떻게 달라지는지 보고, 설명과 맞지 않는 결과가 나오면 어떤 정보가 빠졌는지 적어 본다.

자료와 출처

아래 자료는 이번 글의 정의와 표기법을 확인하는 데 사용했다. 생각그림과 사례 문장은 원자료를 복제하지 않고 이 글의 교육 목적에 맞게 새로 구성했다.

• Meng 외, Locating and Editing Factual Associations in GPT, NeurIPS 2022
• Vig 외, Causal Mediation Analysis for Interpreting Neural NLP, NeurIPS 2020
• Geva 외, Transformer Feed-Forward Layers Are Key-Value Memories, EMNLP 2021