AI 심판은 자기 계열의 답을 더 좋아할까?

그림에서 무엇을 볼까요?

근거 4개와 오류 0개로 같은 생성기 A와 B의 익명 답을 심판 A는 88대 78, 심판 B는 77대 87, 사람 루브릭은 80대 80으로 평가하는 그림

라디오 기록물 두 편을 요약한 익명 답 A와 B가 있다고 합시다. 두 답 모두 필수 근거 4개를 담고 사실 오류는 0개이며, 사람이 같은 루브릭으로 매긴 점수도 각각 80점입니다. 생성기 A가 답 A를, 생성기 B가 답 B를 만들었다는 정보만 다릅니다. 이 자료와 점수는 원리를 위한 자체 예시입니다.

심판 A는 답 A에 88점, 답 B에 78점을 줍니다. 심판 B는 답 A에 77점, 답 B에 87점을 줍니다. 두 심판 모두 자기와 같은 생성 계열의 답을 10점 높게 고릅니다. 하지만 이 네 숫자만으로 이유가 ‘자기 계열이기 때문’이라고 확정할 수는 없습니다. 문체나 표현 습관처럼 계열과 함께 움직이는 특징이 있을 수 있습니다.