자료를 더 넣으면 중요한 근거도 반드시 남을까?

그림에서 무엇을 볼까요?

여섯 문서 가운데 다섯째 핵심 근거가 앞의 세 문서만 읽는 검토 예산 밖에 놓인 그림

여섯 개 문서 묶음에 결정적인 예외 조항이 다섯째 문서에 있다고 하자. 검토 절차가 앞의 세 문서만 읽도록 제한되면 그 조항은 입력 안에 있지만 판단에는 들어오지 않는다. 자료의 존재와 실제 검토 경로는 서로 다른 사실이다.

Liu 등은 긴 문맥 과제에서 관련 정보의 위치에 따라 언어 모델 성능이 달라질 수 있음을 보고했다. 이 글은 그 연구의 수치를 복제하지 않는다. 핵심 근거 위치와 읽을 수 있는 문서 수를 분리하는 투명한 규칙으로 문제를 재구성한다.