표현만 바꾸면 AI의 설명도 달라질까?

그림에서 무엇을 볼까요?

원래 입력과 세 가지 표현 변경이 선택 결과·설명 근거 비교표로 합류하는 검사 그림

두 제안 A와 B를 비교하는 평가기를 생각해 보자. A의 핵심 근거는 8점, B는 6점이다. 평가기가 내용만 보면 A를 고른다. 여기에 첫 번째 위치에 3점을 더하는 부당한 규칙이 숨어 있으면, B를 앞에 놓았을 때 B가 9점이 되어 선택이 뒤집힌다. 보기 순서는 의미와 무관하므로 이런 변화는 판단 기준에 문제가 있다는 신호다.

선택이 그대로라고 설명도 안정적인 것은 아니다. 위치 보너스가 1점이면 A가 뒤에 가도 8 대 7로 이긴다. 하지만 평가기가 가장 큰 단일 기여를 이유로 말한다면 어떤 입력에서는 ‘근거’, 다른 입력에서는 ‘첫 위치’를 강조할 수 있다. 결과와 설명을 두 열로 나누어 기록해야 이 차이가 보인다.