있다는 것과 사용한다는 것
여섯 개 문서 묶음에 결정적인 예외 조항이 다섯째 문서에 있다고 하자. 검토 절차가 앞의 세 문서만 읽도록 제한되면 그 조항은 입력 안에 있지만 판단에는 들어오지 않는다. 자료의 존재와 실제 검토 경로는 서로 다른 사실이다.
Liu 등은 긴 문맥 과제에서 관련 정보의 위치에 따라 언어 모델 성능이 달라질 수 있음을 보고했다. 이 글은 그 연구의 수치를 복제하지 않는다. 핵심 근거 위치와 읽을 수 있는 문서 수를 분리하는 투명한 규칙으로 문제를 재구성한다.
참고 · Nelson F. Liu 외 · Transactions of the ACL 12 (2024), 157–173 — 긴 문맥에서 근거 위치가 미치는 영향 ↗
예산과 위치를 함께 움직이기
아래 활동에는 문서 슬롯 여섯 개가 있다. 핵심 근거 위치를 1~6으로, 검토 예산을 2~6개로 바꾼다. 근거 위치가 예산 이하일 때만 ‘검토됨’이 된다. 예산 3에서 위치 5는 누락되고, 예산 5로 늘리면 포함된다.
이 규칙은 실제 모델의 주의 메커니즘이 아니다. 길이 제한, 검색 순서, 요약 단계 같은 설계가 중요한 근거를 어떻게 통과시키거나 버리는지 생각하기 위한 최소 모형이다. 실제 모델은 앞부분만 읽는다고 단정할 수 없다.
더 많이 넣기 전에 경로를 설계하기
자료를 무작정 붙이기보다 질문과 관련된 근거를 검색하고, 문서 식별자와 위치를 남기며, 답변이 그 근거를 인용했는지 검사하자. 반례나 예외 조항이 뒤로 밀리지 않도록 검토 순서를 설계할 수도 있다.
중요한 의사결정에서는 ‘문맥에 있었다’가 검증 완료의 증거가 아니다. 어떤 근거가 선택되었고 어떤 근거가 누락됐는지 사후 점검해야 한다. 위치를 바꾸어도 결론이 유지되는지 보는 시험도 유용하다.