논리적 사고

긴 글을 넣을 수 있는 인공지능(AI)는 중간에 있는 근거도 잘 찾을까?

긴 문맥 처리 연구는 입력 길이와 실제 정보 활용을 구별합니다. 같은 근거의 위치를 바꾸는 평가가 왜 필요한지 살펴봅니다.

그림에서 무엇을 볼까요?

자료 다섯 개 중 핵심 근거의 위치를 첫째, 셋째, 다섯째로 바꾼 세 줄의 블록 도식. 성능 수치는 표시하지 않는다.

LTCT의 가상 문항에는 “특별 점검일에는 예약 시간이 변경된다”는 예외 규칙이 있습니다. 같은 규칙을 다섯 자료 중 첫째, 셋째, 다섯째 자료에 각각 배치한 세 버전을 만듭니다. 질문과 규칙의 문구, 나머지 정보량은 유지하고 근거 자료의 위치를 바꿉니다.

세 버전에서 정답 자체는 같아야 합니다. 다만 시간 순서가 의미를 결정하는 기록이라면 문서를 옮기는 것이 내용까지 바꿀 수 있습니다. 따라서 순서와 독립적으로 읽을 수 있는 자료인지 먼저 검토하고, 작성 날짜와 적용 날짜도 동일하게 유지해야 합니다.

2024년 확정 논문의 결과를 2026년 모든 모델에 그대로 일반화하지 않습니다. 모델 버전과 입력 방식이 달라지면 새 검증이 필요합니다.

문서의 위치 변경이 참조 관계나 사건 순서를 바꾸면 순수한 위치 비교가 아닙니다. “앞에서 말한 규칙” 같은 표현을 그대로 남기지 않도록 검수해야 합니다.

입력 가능한 글자 수가 두 배인 모델은 논리 추론도 두 배 잘할까요?