AI 한 부분을 바꾸면 전체 원리도 알 수 있을까?
중간 상태 복원과 가중치 편집의 결과를 대상 문장·바꿔 쓴 문장·이웃 지식으로 나누어, 국소 성공에서 전체 설명으로 넘어가는 조건을 살핍니다.
그림에서 무엇을 볼까요?
AI 내부 한 지점의 개입을 대상 표현 네 개와 이웃 지식 네 개에 시험해 일반화와 특이성을 따로 기록하는 두 구역 검사 그림
로봇 정비소의 연구자가 한 모델의 중간 표현에서 ‘항구 도시’ 정보를 읽어냈다고 해 봅시다. 탐침이 정보를 분류할 수 있다는 사실은 그 표현에 관련 신호가 있음을 보여 줍니다. 그러나 원래 모델이 답을 만들 때 그 신호를 실제로 사용했는지는 별도의 질문입니다.
Vig 등은 구조를 읽는 분석과 출력 행동을 보는 분석의 간격을 지적하고, 입력과 내부 매개변수에 통제된 개입을 가해 출력 변화의 직접·간접 효과를 살피는 방법을 제안했습니다. 개입은 단순 동시 발생보다 강한 근거를 주지만, 지정한 모델·입력 집합·매개변수와 결과 척도 안에서 해석됩니다.
함께 확인할 점
논문의 평가 개념을 단순화해 만든 가상 결과입니다. 실제 언어모델 실행·가중치 편집·내부 사고 공개 기능이 아닙니다.
생각해 볼 질문
최근 본 AI 내부 해설 하나를 골라 개입 위치·측정 출력·검사 입력 수·이웃 행동 유지 여부를 적고, 그 근거가 허용하는 주장 범위를 한 문장으로 제한해 보세요.
순서를 바꿔도 같은 효과를 볼 수 있을까?
AI가 약한 ETag와 강한 ETag를 같은 검증자로 써도 될까?
AI 정확도 90퍼센트와 60퍼센트를 평균 내면 75퍼센트일까?