결과의 안정성과 이유의 안정성
두 제안 A와 B를 비교하는 평가기를 생각해 보자. A의 핵심 근거는 8점, B는 6점이다. 평가기가 내용만 보면 A를 고른다. 여기에 첫 번째 위치에 3점을 더하는 부당한 규칙이 숨어 있으면, B를 앞에 놓았을 때 B가 9점이 되어 선택이 뒤집힌다. 보기 순서는 의미와 무관하므로 이런 변화는 판단 기준에 문제가 있다는 신호다.
선택이 그대로라고 설명도 안정적인 것은 아니다. 위치 보너스가 1점이면 A가 뒤에 가도 8 대 7로 이긴다. 하지만 평가기가 가장 큰 단일 기여를 이유로 말한다면 어떤 입력에서는 ‘근거’, 다른 입력에서는 ‘첫 위치’를 강조할 수 있다. 결과와 설명을 두 열로 나누어 기록해야 이 차이가 보인다.
건전성 검사는 무엇을 바꾸는가
설명 도구의 그림이 그럴듯해 보여도 실제 모델이나 자료의 변화에 반응하지 않는다면 신뢰하기 어렵다. Adebayo와 동료들의 2018년 연구는 모델 매개변수와 자료 표지를 무작위화하는 검사를 통해 여러 시각 설명 방법을 점검했다. 핵심은 설명 그림의 아름다움보다, 설명이 의존해야 할 대상이 바뀔 때 실제로 달라지는지 확인하는 데 있다.
아래 활동은 이 생각을 작은 점수 모형으로 바꾼다. 위치 보너스를 0~4로 조정하고 A와 B의 순서를 바꾼다. ‘장식 색 바꾸기’는 계산에 들어가지 않으므로 결과와 설명이 그대로여야 한다. 초기화 뒤 한 조건씩 바꾸면 어느 요소가 선택을 흔드는지 분리할 수 있다.
안정성만으로 충분하지 않다
아무 변화에도 설명이 고정되어 있으면 안정적으로 보일 수 있지만, 입력의 핵심 근거가 바뀌었는데도 그대로라면 오히려 무감각한 설명이다. 좋은 검사는 의미 없는 변화에는 견고하고, 의미 있는 근거 변화에는 반응해야 한다. 따라서 ‘늘 같다’가 목표가 아니라 ‘바뀌어야 할 때만 바뀐다’가 목표다.
실제 AI에서는 같은 뜻의 표현을 여러 방식으로 바꾸고, 보기 순서·길이·형식을 교차하며, 사람의 평가 기준과 비교할 수 있다. 결과, 제시한 설명, 외부 근거를 따로 보존하면 설명의 일관성과 충실성을 더 정직하게 평가할 수 있다.