검색된 문서는 답의 재료이지 자동 보증서가 아니다
검색 증강 생성은 질문과 관련 있어 보이는 문서를 먼저 찾고, 생성 모델이 그 문맥을 참고해 답을 만드는 방식입니다. 모델 매개변수 안의 기억만 쓰는 것보다 근거의 출발점을 드러낼 수 있지만, 검색되었다는 사실과 생성된 각 주장이 지지된다는 사실은 구분해야 합니다.
Lewis와 동료들의 RAG 연구는 신경망 검색기가 외부 문서 색인을 찾고 생성기가 검색된 내용을 조건으로 답을 만드는 구조를 제안했습니다. 논문은 여러 지식 집약 과제에서의 성능을 비교합니다. 그러나 검색 문서가 화면에 보인다는 이유만으로 이후 문장 전체가 논리적으로 따라온다는 보편 보증을 제시한 것은 아닙니다.
가상의 도서관 안내에 ‘월요일 휴관, 화요일부터 금요일은 09시부터 20시까지’라고 적혀 있다고 합시다. 이 문서는 운영 시간을 묻는 질문과 분명 관련 있습니다. 그래도 답이 ‘평일은 모두 20시까지 연다’면 월요일까지 범위를 넓혔으므로 문서가 전체 주장을 지지하지 않습니다.
검사는 최소 세 층으로 나눌 수 있습니다. 문서가 질문 주제와 관련 있는가, 문서 내용이 해당 주장을 직접 뒷받침하거나 함의하는가, 검증이 필요한 다른 주장에도 출처가 빠짐없이 붙었는가입니다. 관련성 점수 하나로 세 질문을 합치면 인용이 주는 안도감에 속기 쉽습니다.
참고 · Patrick Lewis, Ethan Perez, Aleksandra Piktus 외 — 검색과 생성을 결합한 RAG ↗
주장을 가장 작은 확인 단위로 잘라 대조한다
활동의 첫 상태는 ‘화~금은 20시까지 연다’입니다. 검색 문서의 날짜 범위와 종료 시각이 모두 일치하므로 이 자체 예시에서는 직접 지지로 판정합니다. 다만 계절 운영이나 공휴일 예외가 별도 문서에 있다면 실제 답에는 그 조건도 필요합니다.
둘째 상태는 같은 관련 문서에 ‘평일은 모두 20시까지’라는 넓은 주장을 붙입니다. 화~금 부분은 맞지만 월요일 휴관과 충돌합니다. 인용은 관련 있지만 주장 전체에는 불충분합니다. ‘화~금’으로 범위를 좁히거나 월요일을 따로 설명해야 합니다.
셋째 상태의 ‘주말도 20시까지’는 검색된 문서가 말하지 않은 내용을 추가합니다. 문서가 운영 시간이라는 같은 주제에 있어도 토요일과 일요일의 시각은 직접 지지하지 않습니다. 새로운 공식 안내를 찾거나 그 문장을 삭제해야 합니다.
Gao와 동료들의 ALCE 연구는 답의 정확성과 함께 인용 품질을 평가하며, 인용이 주장을 뒷받침하는지와 필요한 주장에 인용이 붙었는지를 나눕니다. 연구가 보고한 성능은 사용한 자료·모델·프롬프트에 한정되지만, 인용 표지만 확인하지 말고 주장 단위로 감사해야 한다는 평가 구조를 제공합니다.
참고 · Tianyu Gao, Howard Yen, Jiatong Yu, Danqi Chen — 인용의 정확성과 완전성을 따로 평가하기 ↗
답변 옆에 출처가 아니라 검증 연결을 남긴다
실무에서는 먼저 답을 사실 주장 단위로 나눕니다. 각 주장 옆에 정확한 문서 구간, 문서 발행 주체와 날짜, 지지 판정, 남은 예외를 기록합니다. 한 인용으로 여러 문장을 덮었다면 문장마다 같은 근거가 실제로 성립하는지 다시 확인합니다.
출처가 1차 자료인지도 중요합니다. 검색 결과의 요약문, 다른 기사의 재인용, 오래된 안내는 원문과 시점이 다를 수 있습니다. 링크가 열리는지, 문서가 질문 시점에 유효한지, 표나 각주의 조건을 본문이 누락하지 않았는지를 사람이 확인해야 합니다.
AI가 선택한 문서를 실제 답변 생성에 얼마나 사용했는지는 내부 과정을 전부 공개하지 않고서는 별도 문제로 남습니다. 이 활동은 모델의 숨은 생각을 읽는 기능이 아니라, 화면에 있는 주장과 문서 사이의 검증 가능한 관계를 평가합니다. 검색 순위나 유창한 설명을 인과적 내부 기록으로 바꾸어 말하지 않습니다.
다른 상황으로 옮길 때에는 ‘이 문서는 무엇과 관련 있는가?’ 다음에 ‘정확히 어느 문장이 어떤 주장 범위를 지지하는가?’를 묻습니다. 이어 인용 없는 검증 가능 주장, 날짜와 대상의 불일치, 반대 근거를 찾습니다. 답변에 링크가 많다는 수량보다 주장-근거 연결의 정확성과 완전성이 핵심입니다.