여러 자료를 한 번에 넣고 답을 요청하면 자료가 많을수록 답도 좋아질 것 같습니다. 하지만 필요한 문장이 긴 입력의 한가운데 있을 때도 처음이나 끝에 있을 때처럼 잘 쓰일까요? 입력을 받아들이는 용량과 그 안의 근거를 찾아 활용하는 능력은 별도로 확인해야 합니다. 긴 문맥을 다루는 AI의 성능을 읽을 때 중요한 구분입니다.
연구를 읽는 두 가지 질문
무엇을 바꾸어 실험했는가?
리우와 동료들은 다문서 질문응답과 키·값 검색 과제를 사용해 필요한 정보의 위치와 전체 문맥 길이를 바꾸었습니다. 이 글은 2024년 TACL에 게재된 확정 공개 PDF를 확인했습니다. 여러 당시 모델에서 근거가 입력의 처음이나 끝에 있을 때보다 중간에 있을 때 성능이 낮아지는 양상이 나타났습니다. 위치만 달리한 평가를 통해 전체 평균에서 잘 보이지 않는 취약성을 드러낸 것이 연구의 의의입니다. [1]
모든 모델이 같은 곡선을 보였는가?
결과에는 과제와 모델별 차이가 있습니다. 키·값 검색에서 거의 완벽하게 수행한 모델도 있었으며, 질문 정보를 문맥과 함께 배치하는 방식이 결과에 영향을 주었습니다. 따라서 모든 긴 문맥 모델이 반드시 중간 정보를 놓친다고 요약하면 부정확합니다. 입력 길이 지원이라는 사양만으로 실제 검색·활용 능력을 판단하지 말고, 위치·과제·설정을 구체적으로 시험하라는 평가상의 교훈으로 읽어야 합니다. [1]
같은 예외 규칙을 처음·중간·끝에 옮겨 보기
LTCT의 가상 문항에는 “특별 점검일에는 예약 시간이 변경된다”는 예외 규칙이 있습니다. 같은 규칙을 다섯 자료 중 첫째, 셋째, 다섯째 자료에 각각 배치한 세 버전을 만듭니다. 질문과 규칙의 문구, 나머지 정보량은 유지하고 근거 자료의 위치를 바꿉니다.
세 버전에서 정답 자체는 같아야 합니다. 다만 시간 순서가 의미를 결정하는 기록이라면 문서를 옮기는 것이 내용까지 바꿀 수 있습니다. 따라서 순서와 독립적으로 읽을 수 있는 자료인지 먼저 검토하고, 작성 날짜와 적용 날짜도 동일하게 유지해야 합니다.
그림의 색 블록은 예외 규칙의 위치만 나타냅니다. 높낮이가 다른 성능 그래프를 임의로 만들지 않았고 실제 모델의 정답률도 표시하지 않았습니다. 검증하려는 조작을 시각화한 시험 설계안입니다. 이 방식은 새 모델을 평가할 때도 조건을 명료하게 보고하는 데 활용할 수 있습니다.
어디까지 말할 수 있을까요?
- 2024년 확정 논문의 결과를 2026년 모든 모델에 그대로 일반화하지 않습니다. 모델 버전과 입력 방식이 달라지면 새 검증이 필요합니다.
- 문서의 위치 변경이 참조 관계나 사건 순서를 바꾸면 순수한 위치 비교가 아닙니다. “앞에서 말한 규칙” 같은 표현을 그대로 남기지 않도록 검수해야 합니다.
원문에 근거한 한계와 LTCT의 적용 범위 검토입니다. [1]
교육 현장과 연결해 보면
AI 기반 문항 해설을 검사할 때에는 핵심 조건을 다른 위치에 둔 동형 문항을 함께 사용할 수 있습니다. 정답뿐 아니라 근거 위치를 지목했는지와 예외 조건을 적용했는지를 확인하면 실패 지점을 더 정확히 알 수 있습니다.
사람이 치르는 시험에서도 지문 길이와 논리 난도를 구별할 필요가 있습니다. 무작정 자료를 길게 만드는 대신 실제로 필요한 관계 수와 탐색 부담을 각각 조절합니다.
입력 가능한 글자 수가 두 배인 모델은 논리 추론도 두 배 잘할까요?
생각을 비교할 해설 펼치기
그런 비례 관계를 가정할 수 없습니다. 입력 수용 범위, 필요한 정보의 검색, 여러 근거의 연결, 최종 판단은 서로 다른 평가 대상입니다. 길이를 늘려도 답에 필요한 조건을 놓칠 수 있으므로, 실제 사용할 자료의 길이와 근거 위치를 바꿔 가며 성능을 확인해야 합니다. 사양과 검증 결과를 구분해 읽는 것이 중요합니다.
원문과 출처 정보
한국어 제목은 이해를 돕기 위한 LTCT 번역입니다. 한글 제목 뒤 괄호에 원제를 함께 표기했습니다. 저자·학술지·원문 버전은 원문 서지정보를 기준으로 확인할 수 있습니다.
중간에서 놓치다: 언어모델의 긴 문맥 사용 (Lost in the Middle: How Language Models Use Long Contexts)
Nelson F. Liu; Kevin Lin; John Hewitt; Ashwin Paranjape; Michele Bevilacqua; Fabio Petroni; Percy Liang (2024). Transactions of the Association for Computational Linguistics 12, 157–173 · MIT Press.
- 자료 성격
- 학술 논문·전문 학술자료
- 읽은 버전
- 2024 TACL 학술지 확정 공개 PDF; 열람 2026-09-13(원문 일 단위 발행일 미확인)
- 확인 범위
- 공개 PDF 2~4절의 다문서 질문응답·키값 검색·위치 이동 실험, 결과 예외 및 논의 확인
- 원문 확인일
이 글은 한국어 해설이며 원문 전문 번역이 아닙니다. 도식과 활동의 제작·재구성 범위는 각 그림과 본문에 표시했습니다. 자료 선정과 출처 기준
같은 연구 흐름에서 이어 읽기
같은 원문, 저자·연구 흐름, 공통 개념 태그를 기준으로 연결한 관련 해설입니다.