자료 연결 도표를 한 문제에 함께 쓰기

하나의 문제라도 묻는 질문은 세 가지다

독서 모임 운영자가 지난 공지, 신청표, 설문, 대관 문서를 모아 다음 달 공지를 만들려고 한다. “어떤 문서가 이 문장을 뒷받침하는가”, “참가자와 신청 기록을 어떻게 구분해 저장할까”, “비슷한 자료를 어떻게 묶어 훑을까”는 서로 다른 질문이다. 한 종류의 도표로 모두 답하려 하면 선과 표기가 뒤엉킨다.

문서–주장 연결도는 근거 범위를, 개체 관계도는 자료 구조를, 문서 군집 지도는 유사성 탐색을 맡는다. 세 도표를 동시에 크게 그리기보다 질문 순서에 따라 만들고, 문서ID·주장ID 같은 공통 식별자로 결과를 연결한다.

먼저 원자료 목록과 식별자를 고정한다

작업 시작 시 문서 목록을 만든다. D01 대관 확인서, D02 신청 현황, D03 만족도 설문, D04 지난달 공지처럼 번호를 붙이고 제목·작성자·날짜·주소·확인 상태를 기록한다. 같은 파일의 수정본은 버전을 구분하고, 열지 못한 파일은 “미확인”으로 둔다.

식별자가 고정되면 세 도표에서 같은 자료를 가리킬 수 있다. 군집 지도의 점 D03, 문서–주장 연결도의 문서 D03, 개체 관계도에서 문서 레코드 D03이 같은 대상을 뜻한다. 이름이 조금 바뀌어도 추적이 끊기지 않는다.

군집 지도는 읽을 순서를 정하는 탐색 도구다

자료가 100개라면 먼저 제목과 승인된 요약으로 군집을 탐색한다. 신청·취소 문서 묶음, 장소·대관 묶음, 설문·후기 묶음이 보일 수 있다. 각 묶음에서 중심 문서와 경계 문서를 골라 원문을 읽고, 중요한 희귀 문서는 별도 검색 규칙으로 찾는다.

군집 결과만으로 문서의 신뢰도나 근거 역할을 결정하지 않는다. 가까운 문서끼리 서로 복사한 내용일 수도 있고, 같은 주제라도 서로 반박할 수 있다. 군집은 “먼저 함께 읽어 볼 후보”를 만들고 다음 단계로 넘기는 역할을 한다.

개체 관계도는 문서에서 뽑은 정보를 저장한다

원문을 읽은 뒤 참가자, 모임, 신청, 문서, 발췌를 어떻게 기록할지 설계한다. 발췌는 문서ID와 문장 위치를 가리키고, 주장 후보와 연결된다. 개인정보가 있는 신청 자료는 공개 문서와 같은 권한으로 다루지 않고 접근 권한과 보존 기간을 별도 정책으로 둔다.

문서 한 편에서 여러 발췌가 나오고, 한 주장에 여러 발췌가 연결될 수 있으므로 문서–발췌–근거연결–주장 구조를 쓸 수 있다. 여기서 관계 개수는 실제 업무 규칙으로 검증한다. 도표가 있다고 개인정보 처리의 법적 근거나 보안 설계가 자동으로 생기지는 않는다.

문서–주장 연결도에서 공지 문장을 확정한다

공지 초안을 주장 단위로 나눈다. C01 날짜·시간, C02 장소, C03 정원, C04 참가비, C05 “지난달보다 만족도가 높았다”가 각각 다른 문서나 계산을 요구한다. D01은 C01과 C02를 직접 지지하고, D02는 현재 신청 수를 보여 주지만 최종 정원을 결정하지 않을 수 있다.

C05처럼 비교 표현은 두 시점의 같은 질문과 같은 집계 방식이 필요하다. 지난달 설문만 있으면 비교할 수 없다. 근거가 빠진 C04와 C05는 삭제하거나 “확인 중”으로 바꾸고, 담당자가 확인할 작업 목록으로 보낸다.

LLM에는 세 도표를 한꺼번에 그리게 하지 않는다

한 번의 긴 요청으로 세 도표를 만들면 모델이 단계 사이에서 식별자를 바꾸거나, 군집 유사성을 근거 관계로 오해할 수 있다. 1단계 문서 대장, 2단계 군집 탐색, 3단계 자료 구조, 4단계 주장 검토처럼 산출물을 나누고 각 단계 결과를 사람이 승인한 뒤 다음 입력으로 넘긴다.

각 요청에는 “앞 단계에서 승인한 식별자를 바꾸지 말 것”, “군집의 가까움을 지지 관계로 해석하지 말 것”, “원문에 없는 업무 규칙을 추가하지 말 것”을 적는다. 마지막에는 세 결과 사이의 ID 불일치와 상태 불일치를 표로 검토하게 한다.

준비된 종합 결과에서 식별자 불일치를 찾는다

교육용 결과에서 군집 지도는 D02를 “신청 자료”로 분류했지만 개체 관계도에는 D2로 저장했고, 문서–주장 연결도에는 “신청 현황”이라고만 썼다. 사람이 같은 문서라고 짐작할 수 있어도 자동 검토에서는 세 항목이 분리된다. 식별자를 D02로 통일하고 버전 v5를 붙인다.

또 군집 지도에서 D04가 장소 문서와 가까웠다는 이유로 C02의 근거로 연결한 오류가 있었다. D04는 지난달 공지라 이번 달 장소의 배경일 뿐이다. 가까움은 내용 유사성이고 지지는 특정 주장을 뒷받침하는 관계이므로 두 선을 구분한다.

수정 전후를 비교하면 도표의 역할이 선명해진다

수정 전 종합 그림은 문서 점, 데이터 개체, 주장 노드를 한 화면에 모두 넣고 선 색만 달리했다. 선이 교차하고 범례가 길어져 독자가 어느 질문을 보고 있는지 알기 어려웠다. 모바일에서는 글자가 작아지고 선이 겹쳤다.

수정 후에는 세 도표를 순서대로 나누고, 각 도표 아래에 다음 단계로 넘기는 표만 둔다. 군집에서는 문서ID 목록, ERD에서는 발췌ID와 관계 규칙, 연결도에서는 주장 상태를 내보낸다. 한 화면의 복잡함을 줄이면서 관계는 식별자로 보존했다.

완료 조건은 도표 수가 아니라 검토 가능성이다

세 도표가 모두 예쁘게 그려져도 원문으로 돌아갈 수 없으면 검토가 끝난 것이 아니다. 문서ID에서 원문과 버전으로, 발췌ID에서 문장 위치로, 주장ID에서 공지 표현으로 이동할 수 있어야 한다. 각 변환 단계의 담당자와 날짜도 기록한다.

최종 체크에서는 근거 없는 주장 0개를 목표로 하되, 확인 대기 주장을 억지로 지우지 않는다. 공개 전까지 해결되지 않으면 표현을 삭제하거나 불확실성을 명시한다. 군집의 한계, ERD의 미결 정책, 주장 연결의 보류 항목을 함께 보고하면 다음 사람이 어디서 이어갈지 알 수 있다.

복사해서 쓸 수 있는 LLM 요청문

아래 요청문은 교육용 예시다. 원문을 함께 제공하고, 모델이 빈칸을 추측하지 않도록 금지 조건을 넣었다. 결과를 받으면 원문 문장과 노드·선의 대응을 사람이 다시 확인한다.

독서 모임 운영 자료를 세 단계로 검토해 줘. 한 번에 하나의 단계만 수행하고 내가 확인한 뒤 다음으로 넘어가.
1단계: 문서ID·제목·날짜·버전·확인 상태가 있는 문서 대장을 만든다.
2단계: 제공한 제목·요약으로 유사 문서 후보를 묶되 가까움을 근거 지지로 해석하지 않는다.
3단계: 승인된 업무 규칙만 사용해 문서·발췌·주장 개체와 관계를 설계한다.
4단계: 공지 초안을 주장 단위로 나누고 실제 발췌만 직접 지지·추론 지지·반박·배경으로 연결한다.
모든 단계에서 승인된 ID를 보존하고, 원문에 없는 정보는 추정하지 말며, 결정할 수 없는 항목은 확인 대기로 둔다.
마지막에 ID 불일치, 관계 의미 혼동, 근거 없는 주장을 표로 점검한다.

직접 실습하고 결과를 읽기

이 실습은 브라우저 안에 준비한 교육용 자료만 사용한다. 외부 LLM을 호출하거나 실제 기관 자료를 조회하지 않는다. 입력을 바꾸어 결과가 어떻게 달라지는지 보고, 설명과 맞지 않는 결과가 나오면 어떤 정보가 빠졌는지 적어 본다.

자료와 출처

아래 자료는 이번 글의 정의와 표기법을 확인하는 데 사용했다. 생각그림과 사례 문장은 원자료를 복제하지 않고 이 글의 교육 목적에 맞게 새로 구성했다.

• W3C, Web Annotation Data Model (2017)
• W3C, PROV-O: The PROV Ontology (2013)
• Peter P. Chen, The Entity-Relationship Model (ACM, 1976)
• scikit-learn, Clustering user guide