문맥 창이 10만 토큰이라면 그 안의 모든 정보를 고르게 쓸 수 있을까요? 입력이 들어간다는 사실과 필요한 근거를 찾아 정확히 사용하는 능력은 다릅니다. 긴 문서에서 답이 있는 단락을 앞·가운데·끝으로 옮겼을 뿐인데 결과가 달라진다면, 우리는 최대 길이보다 위치에 대한 강건성을 물어야 합니다.
연구를 읽는 두 가지 질문
연구진은 무엇을 움직였나?
Liu 등은 다중 문서 질의응답과 합성 key-value 검색에서 정답 근거의 위치와 전체 문맥 길이를 통제했습니다. 질의응답에는 NaturalQuestions-Open의 2,655개 질문과 위키백과 단락을 사용했고, 정답 단락 하나와 방해 단락들을 섞어 10·20·30개 문서 조건을 만들었습니다. 원하는 출력은 그대로 두고 정답 단락의 순서만 바꿨습니다. [1]
어떤 모델과 시점을 시험했나?
공개 모델 MPT-30B-Instruct와 LongChat-13B(16K), 폐쇄 모델 GPT-3.5-Turbo 0613의 4K·16K 버전, Claude-1.3의 8K·100K 버전 등을 평가했습니다. 논문은 2023년 8월 제출, 10월 수정 배치 뒤 2024년 2월 출판됐습니다. 따라서 결과는 이 버전과 평가 설정의 기록이지 ‘모든 AI’의 고정 성질이 아닙니다. [1]
가운데에서 무엇이 달라졌나?
여러 모델은 정답 근거가 처음이나 끝에 있을 때 성능이 높고 가운데에 있을 때 낮은 U자형 패턴을 보였습니다. GPT-3.5-Turbo는 20·30문서 조건의 최악 위치에서 문서 없이 답한 56.1%보다 낮아지기도 했고, 위치에 따라 20%포인트 넘게 떨어질 수 있었습니다. 다만 Claude-1.3은 합성 key-value 과제에서 거의 완벽했고, 과제와 모델에 따라 양상은 달랐습니다. [1]
30개 회의록 사이의 한 문장
LTCT가 만든 가상 시험입니다. 30개 회의록 중 하나에만 ‘최종 제출일은 10월 8일’이 있고 나머지는 비슷한 일정 표현을 담습니다. 같은 질문을 하되 정답 문서를 1번째, 15번째, 30번째로 옮깁니다.
아래 교육 모형은 가운데에 둘 때 점수를 낮추고, 질의를 문서 앞뒤에 반복하면 일부 회복되도록 설계했습니다. 이 수치는 특정 상용 AI의 현재 성능이 아니며 실제 API를 호출하지 않습니다. 원 연구가 관찰한 위치 민감성을 조작 가능하게 표현한 것입니다.
첫머리와 끝에서 맞혔다고 ‘30개 문서를 모두 이해했다’고 결론내릴 수는 없습니다. 위치를 균형 있게 바꾼 시험, 근거 인용, 모델·버전·평가 날짜 기록이 함께 필요합니다.
근거 위치·문서 수·질의 반복을 바꾸어 교육용 성능 곡선을 확인해 보세요
실제 AI를 호출하지 않습니다. 원 연구의 위치 민감성을 단순화한 교육 점수입니다.
실제 AI 호출이 아닌 위치 민감성 교육 모형입니다.
어디까지 말할 수 있을까요?
- 논문은 2023년 평가 시점의 MPT-30B-Instruct, LongChat-13B(16K), GPT-3.5-Turbo 0613·16K, Claude-1.3·100K 등을 시험했습니다. 최신 모델에 같은 수치를 적용할 수 없습니다.
- 아래 점수는 원문 표의 재현값이 아닌 LTCT 교육 모형입니다. 실제 모델 호출·비용·정확도 측정을 하지 않습니다.
원문에 근거한 한계와 LTCT의 적용 범위 검토입니다. [1]
교육 현장과 연결해 보면
긴 자료를 AI에 줄 때 정답 근거를 첫머리·가운데·끝으로 옮긴 세 버전을 만듭니다. 답이 같아야 하는데 위치만으로 성능이 달라지면 문맥 길이 광고와 실제 활용 능력을 분리해 평가할 수 있습니다.
검색 문서 수를 늘리기 전에 근거 위치, 방해 문서 수, 질의 반복 여부를 시험표에 기록합니다. 중요한 사실은 사람이 확인할 수 있는 인용 위치와 함께 요구합니다.
가운데 근거를 앞으로 옮기면 문제가 해결된 것 아닌가요?
생각을 비교할 해설 펼치기
실무 완화책은 될 수 있지만 강건한 긴 문맥 이해의 증거는 아닙니다. 무엇이 중요한지 미리 알아야 앞으로 옮길 수 있고, 여러 근거가 흩어진 문제에서는 하나만 재배치하기 어렵습니다. 위치 변경 시험과 검색·요약 절차를 함께 평가하고, 중요한 판단은 원문 위치를 사람이 확인해야 합니다.
원문과 출처 정보
한국어 제목은 이해를 돕기 위한 LTCT 번역입니다. 한글 제목 뒤 괄호에 원제를 함께 표기했습니다. 저자·학술지·원문 버전은 원문 서지정보를 기준으로 확인할 수 있습니다.
가운데에서 길을 잃다: 언어모델은 긴 문맥을 어떻게 사용하는가 (Lost in the Middle: How Language Models Use Long Contexts)
Nelson F. Liu, Kevin Lin, John Hewitt, Ashwin Paranjape, Michele Bevilacqua, Fabio Petroni & Percy Liang (2024). Transactions of the Association for Computational Linguistics, 12, 157–173.
- 자료 성격
- 동료심사 학술지 논문 · ACL Anthology 출판본
- 읽은 버전
- TACL 2024 출판본, 2023년 평가 모델과 API 버전 기록
- 확인 범위
- ACL Anthology 출판본 전문에서 두 과제, 2,655개 질의, 모델·버전·문맥 길이, 위치 조작, U자형 결과와 모형별 예외·한계를 확인
- 원문 확인일
이 글은 한국어 해설이며 원문 전문 번역이 아닙니다. 도식과 활동의 제작·재구성 범위는 각 그림과 본문에 표시했습니다. 자료 선정과 출처 기준
같은 연구 흐름에서 이어 읽기
같은 원문, 저자·연구 흐름, 공통 개념 태그를 기준으로 연결한 관련 해설입니다.