입력할 수 있는 길이와 고르게 사용하는 능력은 다르다
기록 보관소가 관련 문서 한 장과 비슷하지만 답이 없는 방해 문서 여덟 장을 AI에 준다고 합시다. 질문, 문서 내용, 지시문은 그대로 두고 정답 근거의 위치만 1번째·5번째·9번째로 옮깁니다. 입력 길이는 세 조건에서 같고, 정답을 뒷받침하는 문장도 같습니다.
자체 교육용 시험 열 문제에서 근거가 앞이면 9개, 가운데면 5개, 끝이면 8개를 맞았다고 정해 봅시다. 최고와 최저의 차이는 90%−50%=40퍼센트포인트입니다. 이 숫자는 실제 서비스 평가가 아니라 위치 효과를 어떻게 측정하는지 보여 주는 고정 표입니다.
문맥 창이 아홉 문서를 수용한다는 사양은 잘림 없이 입력할 수 있음을 뜻합니다. 각 위치의 정보를 같은 정확도로 검색하고 답에 연결한다는 보장은 아닙니다. 저장 용량과 검색 성공을 구분하듯, 수용 길이와 효과적인 문맥 사용을 각각 측정해야 합니다.
Liu와 동료들은 여러 문서 질의응답에서 하나의 정답 문서와 방해 문서를 함께 넣고, 정답 문서의 위치를 옮겼습니다. 또한 키-값 검색으로 관련 정보 위치를 더 직접 통제했습니다. 평가한 모델들에서는 관련 정보가 앞이나 끝에 있을 때보다 가운데에서 성능이 낮은 경우가 자주 관찰됐습니다.
위치 하나만 옮겨야 원인을 좁힐 수 있다
근거 위치와 함께 문서 순서, 문장 길이, 질문 표현까지 바꾸면 성능 차이의 원인을 알기 어렵습니다. 통제 실험에서는 같은 문서 묶음을 쓰고 정답 문서만 지정한 슬롯으로 이동시킵니다. 방해 문서 사이의 순서는 여러 번 무작위화해 특정 방해 문서가 바로 옆에 놓인 효과를 평균낼 수 있습니다.
활동의 세 버튼은 앞 1/9, 가운데 5/9, 끝 9/9 조건을 나란히 보여 줍니다. 열 문제에서 9·5·8이라는 정답 수와 90·50·80퍼센트를 함께 표시해 분모를 숨기지 않습니다. 같은 입력을 반복 생성한 다수결이 아니라, 위치별로 정답을 채점한 결과라는 점도 구분합니다.
논문의 결과는 2023년에 접근 가능한 여러 모델과 두 과제에서 얻은 경험적 관찰입니다. 모든 모델이 완벽한 U자 모양을 보인다는 법칙이 아니며, 최신 모델이나 한국어 문서, 더 긴 문맥에는 새 검사가 필요합니다. ‘가운데는 반드시 실패한다’가 아니라 ‘위치가 바뀌어도 성능이 유지되는지 시험하라’가 옮겨 쓸 결론입니다.
연구팀의 공개 저장소에는 문서 수와 정답 위치를 바꾸는 실험 구성과 자료 처리 절차가 있습니다. 홈페이지 활동은 그 모델이나 자료를 실행하지 않습니다. 공개 설계의 핵심만 아홉 카드와 고정 점수로 재구성한 교육용 모형입니다.
검색 보조와 모델 강건성을 따로 기록한다
실제 업무에서는 질문을 문서 끝에 다시 쓰거나, 검색기로 관련 단락을 먼저 골라 주거나, 근거를 요약해 가까이 두는 방법을 쓸 수 있습니다. 이런 편집이 답을 개선하면 유용한 시스템 설계입니다. 다만 원래 모델이 모든 위치를 고르게 활용한다는 증거와는 구분합니다. 검색기가 중요한 문서를 놓치면 모델은 애초에 근거를 볼 수 없습니다.
평가표에는 문서 수, 총 토큰, 정답 위치, 방해 문서의 유사도, 질문 위치, 채점 기준을 적습니다. 정확 일치 점수와 의미 기반 채점이 다를 수 있으므로 둘의 기준도 공개합니다. 위치별 여러 문제와 여러 순서에서 반복하고, 평균뿐 아니라 최저 위치의 성능을 함께 보면 운영상의 약한 구간이 드러납니다.
AI가 출력한 설명에 ‘가운데 문서를 참고했다’고 쓰여 있어도 그것만으로 내부 계산 전체를 확인한 것은 아닙니다. 인용한 문장이 실제 주장을 지지하는지, 위치를 옮겨도 답이 유지되는지, 답이 틀렸을 때 사람에게 넘기는 경로가 있는지를 관찰 가능한 결과로 검사합니다.
계약 검토, 의료 지침 묶음, 긴 회의록처럼 중요한 근거가 어디에 올지 통제하기 어려운 상황을 떠올려 보세요. 문서가 들어갔다는 확인에서 멈추지 않고, 같은 근거를 앞·가운데·끝에 번갈아 놓아 최저 성능을 측정할 수 있을까요? 배치 최적화와 위치 강건성 평가를 함께 운영하면 긴 문맥의 실제 사용 능력을 더 정확히 보고할 수 있습니다.