논리적 사고

긴 문맥을 읽는 인공지능(AI)는 가운데 근거도 똑같이 찾을까?

긴 문맥 모델도 근거 위치에 따라 성능이 달라졌습니다. 문서 수와 위치를 바꾸는 교육 모형으로 강건성을 점검합니다.

그림에서 무엇을 볼까요?

긴 문맥의 처음과 끝에서는 성능이 높고 가운데 근거에서는 낮아지는 U자형 위치 민감성 곡선

LTCT가 만든 가상 시험입니다. 30개 회의록 중 하나에만 ‘최종 제출일은 10월 8일’이 있고 나머지는 비슷한 일정 표현을 담습니다. 같은 질문을 하되 정답 문서를 1번째, 15번째, 30번째로 옮깁니다.

아래 교육 모형은 가운데에 둘 때 점수를 낮추고, 질의를 문서 앞뒤에 반복하면 일부 회복되도록 설계했습니다. 이 수치는 특정 상용 AI의 현재 성능이 아니며 실제 API를 호출하지 않습니다. 원 연구가 관찰한 위치 민감성을 조작 가능하게 표현한 것입니다.

논문은 2023년 평가 시점의 MPT-30B-Instruct, LongChat-13B(16K), GPT-3.5-Turbo 0613·16K, Claude-1.3·100K 등을 시험했습니다. 최신 모델에 같은 수치를 적용할 수 없습니다.

아래 점수는 원문 표의 재현값이 아닌 LTCT 교육 모형입니다. 실제 모델 호출·비용·정확도 측정을 하지 않습니다.

가운데 근거를 앞으로 옮기면 문제가 해결된 것 아닌가요?