긴 문서의 가운데 근거도 AI가 똑같이 찾을까?

그림에서 무엇을 볼까요?

아홉 문서 중 같은 근거 카드를 첫째·다섯째·아홉째로 옮겼을 때 교육용 정답 수가 9·5·8로 달라지는 세 줄 비교

기록 보관소가 관련 문서 한 장과 비슷하지만 답이 없는 방해 문서 여덟 장을 AI에 준다고 합시다. 질문, 문서 내용, 지시문은 그대로 두고 정답 근거의 위치만 1번째·5번째·9번째로 옮깁니다. 입력 길이는 세 조건에서 같고, 정답을 뒷받침하는 문장도 같습니다.

자체 교육용 시험 열 문제에서 근거가 앞이면 9개, 가운데면 5개, 끝이면 8개를 맞았다고 정해 봅시다. 최고와 최저의 차이는 90%−50%=40퍼센트포인트입니다. 이 숫자는 실제 서비스 평가가 아니라 위치 효과를 어떻게 측정하는지 보여 주는 고정 표입니다.