공지의 한 문장이 여러 자료를 요구할 때
독서 모임 공지에 “토요일 오후 모임은 참가자 만족도가 높고, 도서관 2층에서 열린다”라고 썼다고 하자. 이 문장에는 평가와 장소라는 서로 다른 주장이 들어 있다. 만족도 설문은 첫 주장에 답할 수 있지만 장소를 증명하지는 못하고, 대관 확인서는 장소를 보여 주지만 만족도를 말해 주지 않는다.
문서–주장 연결도는 왼쪽에 확인한 문서, 오른쪽에 검토할 주장을 두고 어떤 문서의 어느 대목이 어떤 주장에 닿는지 잇는다. 목표는 자료를 많이 모으는 일이 아니라, 문서가 실제로 말하는 범위와 글에서 사용한 표현의 범위를 맞추는 일이다.
선 하나는 “관련 있음”보다 더 구체적이어야 한다
연결선에는 지지, 반박, 배경, 추가 확인처럼 역할을 적는다. “설문표 → 만족도가 높다”는 지지 관계이고, “대관 확인서 → 도서관 2층”은 직접 확인 관계다. 지난달 공지는 이번 달 무료 참가 여부의 배경은 될 수 있어도 이번 달 조건을 확정하는 직접 근거는 아니다.
같은 선이라도 근거의 힘은 다르다. 원문에 장소와 날짜가 그대로 적혀 있으면 직접 근거, 여러 수치를 계산해 결론을 얻으면 추론 근거, 주제 이해에 도움을 주지만 결론을 결정하지 않으면 배경으로 표시한다. 선의 라벨이 있어야 독자가 자료를 어떻게 썼는지 검토할 수 있다.
주장을 검사 가능한 크기로 나눈다
한 문장에 날짜, 장소, 비용, 대상이 모두 들어 있으면 한 노드로 두지 않는다. “10월 17일 토요일 오후 2시”, “도서관 2층 세미나실”, “참가비 무료”, “성인 독자 20명”처럼 하나씩 확인할 수 있는 주장으로 나눈다. 그래야 일부만 근거가 있는 상태를 찾을 수 있다.
주장을 지나치게 잘게 쪼개도 문맥을 잃는다. “17일”과 “토요일”을 별도 주장으로 떼기보다 날짜 표현을 한 노드에 묶고 달력으로 일치 여부를 확인한다. 좋은 단위는 한 자료 대목으로 확인하거나 반박할 수 있으면서, 공지에서 의미 있는 정보를 보존한다.
서로 다른 사례에서 근거 범위를 비교한다
제품 소개문에서는 시험 성적표가 “특정 조건에서 8시간 작동”을 지지할 수 있지만 “하루 종일 걱정 없이 사용”이라는 넓은 표현까지 보장하지 않는다. 연구 요약에서는 표본 30명의 평균이 그 표본에 관한 결과를 보여 주지만 모든 연령대에 같은 결과가 난다고 일반화하려면 추가 근거가 필요하다.
검색 도구를 쓰는 AI 시스템에서도 같은 원칙이 적용된다. 검색 결과 제목만 보고 문서 전체가 주장을 지지한다고 표시하면 안 된다. 실제 본문 대목, 발행 주체, 날짜, 적용 조건을 확인하고, 문서가 열리지 않거나 본문을 읽지 못했다면 “제목만 확인” 또는 “추가 확인”으로 남긴다.
| 사례 | 문서가 확인한 것 | 확장하면 생기는 문제 |
|---|---|---|
| 공지 | 이번 달 대관 장소 | 지난달 조건을 이번 달에 적용 |
| 제품 | 정해진 시험 조건의 시간 | 모든 사용 환경으로 확대 |
| 연구 | 표본에서 관찰한 평균 | 모집단 전체로 일반화 |
LLM에는 원문 문장과 금지 조건을 함께 준다
LLM에 “출처를 찾아 연결해 줘”라고만 요청하면 모델이 익숙한 정보로 빈칸을 채우거나, 문서 제목을 근거처럼 사용할 수 있다. 문서마다 발췌문과 식별자를 주고, 제공하지 않은 사실을 추정하지 말며, 각 연결에 인용할 문장 번호와 관계 유형을 적으라고 요청한다.
결과 형식도 미리 정한다. 문서 노드 D1·D2, 주장 노드 C1·C2, 연결은 D1 —직접 지지→ C1처럼 쓰게 하고, 근거가 없으면 연결선을 만들지 않고 확인 대기 목록에 둔다. 이 형식은 모델의 판단을 숨기지 않고 사람이 원문과 대조할 단서를 준다.
준비된 예시 결과를 원문과 왕복해 읽는다
교육용 예시에서 D1의 3번 문장은 “응답자 24명 중 18명이 토요일 오후를 선호했다”고 한다. 이는 “응답자의 다수가 토요일 오후를 선호했다”를 지지하지만 전체 참가자가 선호한다고 말할 수는 없다. D2의 1번 문장은 10월 17일 14시 대관을 확인하므로 날짜·시간 주장에 직접 연결된다.
이 결과는 실제 모델 실행 로그가 아니라 검토 절차를 설명하려고 미리 만든 예시다. 중요한 일은 선이 그럴듯해 보이는지가 아니라, 연결 라벨과 문장 번호를 따라가 같은 판단을 재현할 수 있는지다. 재현할 수 없으면 선을 끊고 보류 목록으로 옮긴다.
추론 지지
직접 지지
배경
잘못된 그림은 선이 많고 근거 역할이 없다
흔한 오류는 모든 문서를 모든 주장에 연결하는 것이다. “관련 있어 보인다”는 이유로 선을 늘리면 어느 근거가 핵심인지 보이지 않고, 근거 없는 주장도 자료에 둘러싸여 확인된 것처럼 보인다. 또 문서 제목만 노드에 쓰면 정확한 대목을 다시 찾기 어렵다.
수정할 때는 문서를 문장 단위로 좁히고, 각 선에 역할과 범위를 적는다. 직접 지지가 없는 주장은 주황색 확인 대기 노드로 남긴다. 선이 없는 노드는 실패가 아니라 검토 결과다. 빈 곳이 어디인지 드러나야 다음 검색이나 담당자 확인으로 이어진다.
출처의 출처도 기록하면 변경을 추적할 수 있다
웹 문서는 내용이 바뀌거나 주소가 사라질 수 있다. 문서 노드에는 제목뿐 아니라 작성 기관, 발행일 또는 갱신일, 주소, 확인 날짜를 기록한다. 문서에서 표나 다른 보고서를 재인용했다면 원자료와 2차 문서를 구분해 연결한다.
W3C PROV는 개체, 활동, 행위자 사이의 유래 관계를 표현하는 어휘를 제공한다. 이 글에서는 전체 표준을 구현하지 않지만, “이 주장 노드는 어떤 문서 발췌에서 만들어졌고 누가 언제 확인했는가”를 기록하는 데 그 관점을 빌린다. 출처 경로가 남으면 이후 수정 이유도 설명할 수 있다.
실습 전 체크리스트로 연결도를 닫는다
완성한 뒤에는 주장마다 최소 한 번 역방향으로 읽는다. 주장 C2에서 시작해 연결선을 거슬러 문서 문장으로 이동하고, 그 문장만 읽어도 C2의 핵심 표현을 확인할 수 있는지 본다. 추가 계산이 필요하면 계산식과 사용한 수치를 별도 메모로 남긴다.
마지막으로 반례를 넣는다. 설문 응답자가 전체 참가자의 일부라면 “참가자 모두가 선호한다”는 표현은 유지할 수 있는가? 대관 확인서가 예약 상태라면 “확정”이라고 써도 되는가? 반례가 성립하면 주장 범위를 줄이거나 확인 대기로 바꾼다.
복사해서 쓸 수 있는 LLM 요청문
아래 요청문은 교육용 예시다. 원문을 함께 제공하고, 모델이 빈칸을 추측하지 않도록 금지 조건을 넣었다. 결과를 받으면 원문 문장과 노드·선의 대응을 사람이 다시 확인한다.
다음 문서 발췌와 주장 목록만 사용해 문서–주장 연결도를 작성해 줘. 1. 문서는 D1, D2처럼 식별하고 문장 번호를 보존한다. 2. 주장은 한 번에 확인 가능한 단위로 나누되 원문 의미를 바꾸지 않는다. 3. 연결 유형은 직접 지지, 추론 지지, 반박, 배경, 추가 확인 중 하나로 쓴다. 4. 각 연결에 근거 문장 번호와 적용 조건을 적는다. 5. 제공되지 않은 사실은 추정하지 않는다. 근거가 없으면 '확인 대기' 목록에 둔다. 6. 끝에 과도한 일반화와 날짜·대상·범위 불일치를 점검한다. [문서 발췌] D1: ... D2: ... [검토할 주장] C1: ... C2: ...
직접 실습하고 결과를 읽기
이 실습은 브라우저 안에 준비한 교육용 자료만 사용한다. 외부 LLM을 호출하거나 실제 기관 자료를 조회하지 않는다. 입력을 바꾸어 결과가 어떻게 달라지는지 보고, 설명과 맞지 않는 결과가 나오면 어떤 정보가 빠졌는지 적어 본다.
자료와 출처
아래 자료는 이번 글의 정의와 표기법을 확인하는 데 사용했다. 생각그림과 사례 문장은 원자료를 복제하지 않고 이 글의 교육 목적에 맞게 새로 구성했다.