검색과 답변 사이의 세 관문
시청 기록관의 질문은 ‘지난해 야간 열람 시간이 두 시간 늘었는가?’이다. 검색기는 ‘야간’, ‘열람’, ‘시간’과 겹치는 문서를 모은다. 생성기는 그 문서를 바탕으로 답을 구성한다. 검색 증강 생성은 모델의 매개변수 바깥에 있는 문서를 찾아 답변에 활용하는 구조다. 그러나 검색되었다는 사실만으로 문서가 질문의 기간과 수치를 직접 지지하는 것은 아니다.
가상 문서 네 장 가운데 공지 A는 올해 시간을, 회의록 B는 지난해 연장 제안을, 확정표 C는 지난해 실제 운영 시간을, 블로그 D는 이용자의 인상을 담는다. 모두 주제와 관련 있지만 ‘지난해 두 시간 늘었다’는 결론을 직접 확인할 수 있는 자료는 기준 시간과 변경 시간을 함께 적은 확정표 C다.
넓게 찾고 좁게 확인하기
넓은 검색은 후보를 놓칠 가능성을 줄이는 대신 관련성이 약한 문서도 함께 가져온다. 좁은 검색은 읽을 자료를 줄이지만 표현이 다른 결정적 문서를 놓칠 수 있다. 그래서 검색 폭과 검증 강도를 한 축으로 섞어 평가하면 원인을 알기 어렵다. 아래 활동은 후보 수, 질문 기간 일치, 수치의 직접 지지를 따로 센다.
‘원문 검증’을 켜면 제목의 유사성 대신 문서 안의 기간과 두 시간을 확인한다. 검증을 끈 상태에서 상위 문서 하나만 쓰면 빠르지만, 올해 공지를 지난해 자료로 오인할 수 있다. 경로를 바꾸면 어떤 문서가 남고, 결론 상태가 ‘확인’, ‘부분’, ‘부족’ 중 어디로 움직이는지 즉시 볼 수 있다.
좋은 답은 빈칸도 보여 준다
자료가 부족한 경우 AI가 해야 할 일은 빈칸을 그럴듯한 말로 채우는 것이 아니다. 어느 기간의 기준표가 필요한지, 현재 문서로 무엇까지 말할 수 있는지 밝혀야 한다. 근거가 하나 발견되더라도 출처의 권위, 최신성, 원문 여부를 추가로 확인할 수 있다.
이 실험은 네 문서로 닫힌 작은 세계를 만든다. 실제 검색에서는 표현 변형, 접근 제한, 색인 누락, 문서 변경이 생긴다. 따라서 검색 성공률과 답변 정확성을 별도로 기록하고, 중요한 주장마다 직접 지지하는 문장을 연결하는 검수 단계가 필요하다.