보기 순서만 바꿔도 AI의 선택이 달라질까?

그림에서 무엇을 볼까요?

같은 두 답변 카드를 왼쪽과 오른쪽에서 교환하고 두 순서의 선택을 합산하는 세 단계 그림

답변 A와 B의 문장은 그대로 두고 제시 순서만 A-B에서 B-A로 바꾸면 내용의 질은 변하지 않습니다. 따라서 선택이 달라진다면 위치가 판단에 들어갔을 가능성을 살필 수 있습니다. 한 번의 결과만 보면 내용 선호와 위치 선호가 섞입니다.

자체 예시에서 A를 먼저 둔 열 번의 평가 중 A가 여덟 번 선택됩니다. B를 먼저 두면 A는 네 번, B는 여섯 번 선택됩니다. 같은 쌍인데 열 번 중 네 번의 선택이 바뀌었다면 단일 순서의 8대2를 안정된 우열로 읽기 어렵습니다.