모델 내부 분석 결과는 어디까지 믿을 수 있을까?

세 생각그림은 서로 다른 질문에 답한다

층별 예측 지도는 중간 표현에서 후보 정보를 읽을 수 있는지 묻는다. 인과 추적 히트맵은 상태를 복원했을 때 목표 출력이 회복되는지 묻는다. 회로·기여 그래프는 정한 분석 모델 안에서 어떤 중간 특징과 연결이 목표에 기여했는지 가설을 만든다.

세 결과가 같은 영역을 가리키면 흥미로운 증거가 되지만 자동으로 완전한 설명이 되지는 않는다. 읽을 수 있는 정보, 개입 효과, 대체 모델의 경로는 논리적으로 다른 주장이다. 보고서 첫 표에 방법·대상·단위·허용되는 결론을 적어 한 그림의 말을 다른 그림에 옮겨 붙이지 않는다.

충실성은 설명이 원래 모델의 작동을 따라가는 정도다

사람이 이해하기 쉬운 설명과 원래 모델에 충실한 설명은 같은 목표가 아니다. 예쁜 요약은 중요한 경로를 빼거나 원래 모델에 없는 개념을 넣을 수 있다. probe와 대체 모델은 분석을 가능하게 하지만 원래 계산을 바꾸거나 근사한다.

충실성을 확인하려면 설명이 예측한 개입을 원래 모델에 적용하고 출력 변화를 비교한다. 특징을 억제하면 목표 로짓이 내려갈 것이라는 예측, 깨끗한 상태를 복원하면 회복될 것이라는 예측을 사전에 적는다. 맞지 않으면 설명을 수정하고 실패 사례도 남긴다.

민감도 검사로 모델과 무관한 그림을 걸러낸다

Adebayo 외는 일부 saliency 방법이 모델 매개변수를 무작위화하거나 학습 라벨을 바꿔도 비슷한 그림을 내는 문제를 보였다. 그림이 입력의 모양만 따라가고 실제 학습된 모델에 민감하지 않다면 모델이 배운 관계를 설명하는 데 쓰기 어렵다.

언어 모델 분석에서도 가중치가 다른 체크포인트, 무작위 probe, 셔플된 라벨, 무관 목표 토큰을 대조한다. 결과가 거의 같으면 색 패턴의 아름다움보다 분석 방법의 민감도를 먼저 의심한다. 동일성 판단에는 시각 비교와 수치 유사도 둘 다 사용한다.

안정성은 작은 설정 변화에서 결론이 유지되는지 본다

색 범위, 가지치기 임계값, probe seed, 오염 강도, 기준 입력을 조금 바꿨을 때 상위 층·위치·노드가 크게 바뀔 수 있다. 한 설정만 골라 제시하면 우연히 선명한 결과가 대표처럼 보인다. 사전에 설정 범위를 정하고 결과 분포를 함께 공개한다.

모든 셀이 같은 값을 유지할 필요는 없다. “중간층의 주제 토큰 주변에서 회복 효과가 크다” 같은 핵심 결론이 여러 설정에서 남는지 본다. 불안정한 경계 노드는 흐린 테두리나 신뢰 구간으로 표시하고, 서술에서도 잠정 결과라고 적는다.

일반화는 새 프롬프트와 새 모델에서 다시 시험한다

한 프롬프트에서 찾은 경로는 동일 문구에만 작동할 수 있다. 개체, 관계, 문장 순서, 언어, 부정 표현을 바꾸고 같은 기능이 유지되는지 본다. 학습에 사용한 탐색 사례와 최종 평가 사례를 분리해 결과를 본 뒤 좋은 예시만 고르는 일을 막는다.

같은 모델 계열의 크기나 버전이 바뀌면 층 수와 특징 분해가 달라진다. 층 번호를 그대로 대응시키기보다 상대 깊이, 기능, 개입 효과를 비교한다. 다른 모델에서 재현되지 않아도 원래 결과가 거짓인 것은 아니지만 주장 범위는 특정 모델·체크포인트로 제한한다.

설명하지 못한 몫과 선택 편향을 숫자로 남긴다

대체 모델의 재구성 오차, 가지치기로 제거한 기여, 해석하지 못한 특징, 실패한 프롬프트를 보고서에 포함한다. 성공 사례만 모으면 도구의 실제 적용 범위를 과장한다. Anthropic의 2025년 연구도 attribution graph가 원래 모델을 불완전하게 대신하며 성공 사례가 선택된 표본임을 명시한다.

시도한 프롬프트 수, 유용한 그래프를 얻은 수, 해석이 중단된 이유를 기록한다. 오차 노드가 크거나 개입 검증이 어긋난 사례는 삭제하지 않고 “설명 미완료”로 분류한다. 독자는 무엇을 설명했는지와 남은 ‘암흑 영역’을 함께 보아야 한다.

LLM은 분석 요약자이며 원자료를 대신하지 않는다

LLM에 그래프와 논문 제목만 주고 결론을 쓰게 하면 빈 설정을 추정하거나 노드 라벨을 자연스러운 인과 이야기로 엮을 수 있다. 원자료 배열, 코드 버전, 설정, 대조 실험, 실패 사례를 함께 제공하고 각 문장에 관찰·추론·가설·확인 필요 태그를 붙이게 한다.

모델에게 출처 링크를 발명하지 말고 제공한 자료만 인용하게 한다. “왜”라는 질문에는 어떤 개입이 수행됐는지 먼저 확인하도록 요청한다. 사람이 최종 보고서에서 수치와 원자료 위치를 다시 열어 확인하고, 재현하지 않은 실험은 제안으로 표시한다.

수정 전후는 “발견했다”라는 동사를 검토하는 데서 갈린다

수정 전 보고서는 밝은 히트맵과 굵은 경로를 근거로 “모델이 두 단계로 생각한다는 사실을 발견했다”라고 썼다. 대체 모델 오차, 임계값, 실패 사례, 다른 프롬프트, 원래 모델 개입이 빠져 있었다.

수정 후에는 “이 체크포인트·프롬프트·설정에서 두 특징 경로 가설을 얻었고, 세 개의 개입 중 두 개가 예측 방향과 일치했다”라고 적었다. 실패한 개입과 설명하지 못한 기여 비중을 함께 제시하고 새 사례에서의 재현을 다음 과제로 남겼다.

최종 검토는 질문·방법·증거·한계를 한 표로 묶는다

각 결론마다 질문, 사용한 방법, 직접 관찰, 개입 대조, 안정성, 일반화, 남은 오차를 한 행에 적는다. 방법 이름만 여러 개 나열하는 것보다 한 결론을 어떤 증거들이 지지하고 어디서 어긋나는지 보여 주는 편이 유용하다.

모바일에서는 결론 카드를 하나씩 세로로 배치하고 상세 수치는 가로 이동 가능한 표로 제공한다. 키보드로 검토 항목을 체크하고 빠진 항목이 있으면 결론 강도를 “가설” 또는 “미확인”으로 자동 낮춘다. 최종 문장은 원자료와 실행 기록으로 되돌아갈 수 있어야 한다.

복사해서 쓸 수 있는 LLM 요청문

아래 요청문은 교육용 예시다. 원문을 함께 제공하고, 모델이 빈칸을 추측하지 않도록 금지 조건을 넣었다. 결과를 받으면 원문 문장과 노드·선의 대응을 사람이 다시 확인한다.

모델 내부 분석 결과를 검토 보고서로 정리해 줘.
1. 각 결과를 층별 읽기, 인과 복원, 기여 그래프 중 하나로 분류하고 직접 질문을 적는다.
2. 관찰·계산·추론·가설·미확인을 문장마다 구분한다.
3. 원래 모델의 개입 검증, 무작위화 대조, 설정 안정성, 새 사례 일반화를 각각 확인한다.
4. probe·대체 모델·특징 라벨·가지치기에서 생기는 오차와 손실을 적는다.
5. 시도한 전체 사례 수, 성공·실패·보류 수를 분모와 함께 적는다.
6. 성공 사례만으로 모델 전체의 보편적 사고 과정을 주장하지 않는다.
7. 제공하지 않은 수치·실험·출처를 추정하거나 수행했다고 쓰지 않는다.
8. 결론별로 허용되는 표현과 추가 확인 과제를 표로 만든다.

[분석 설정·원자료·대조·실패 사례] …

직접 실습하고 결과를 읽기

이 실습은 브라우저 안에 준비한 교육용 자료만 사용한다. 외부 LLM을 호출하거나 실제 기관 자료를 조회하지 않는다. 입력을 바꾸어 결과가 어떻게 달라지는지 보고, 설명과 맞지 않는 결과가 나오면 어떤 정보가 빠졌는지 적어 본다.

자료와 출처

아래 자료는 이번 글의 정의와 표기법을 확인하는 데 사용했다. 생각그림과 사례 문장은 원자료를 복제하지 않고 이 글의 교육 목적에 맞게 새로 구성했다.

• Adebayo 외, Sanity Checks for Saliency Maps, NeurIPS 2018
• Jacovi·Goldberg, Towards Faithfully Interpretable NLP Systems, ACL 2020
• Ameisen 외, Circuit Tracing: Revealing Computational Graphs in Language Models, Anthropic 2025
• Lindsey 외, On the Biology of a Large Language Model, Anthropic 2025