“버스 이용자가 줄었으니 운행을 줄여야 한다”는 말을 들었습니다. 다른 사람은 같은 사실로 “기다리는 시간이 길어서 이용자가 줄었으니 운행을 늘려야 한다”고 말합니다. 관찰 하나가 정책을 자동으로 결정하지 않습니다. 사실에서 결론으로 건너갈 때 어떤 연결 전제를 넣었는지 살피는 것이 이번 글의 질문입니다.
연구를 읽는 두 가지 질문
말하지 않은 연결 고리를 어떻게 연구했을까요?
Habernal 등의 NAACL 2018 논문은 주장과 이유 사이의 숨은 연결 전제를 찾는 과제를 제안했습니다. 뉴스 댓글의 논증에서 반대 결론으로 이어지는 전제와 원래 결론으로 이어지는 전제를 단계적으로 구성·검토하여 1,970개 사례를 만들었습니다. 비슷한 어휘의 두 후보 중 의도된 연결 전제를 고르는 과제이며, 논증 성분의 위치만 찾는 문제와 구별됩니다. [1]
복원한 전제가 참이라는 뜻은 아닙니다
당시 신경망·언어모델의 평가에서는 이 과제가 어려운 것으로 나타났습니다. 중요한 것은 정답 전제가 논증자의 의도된 추론을 복원한다는 점입니다. 원문도 오류를 포함한 추론을 사례로 다룹니다. 따라서 전제 후보를 맞히는 성적을 그 주장의 진실성이나 논증의 건전성을 평가한 성적으로 읽어서는 안 됩니다. 이번 해설은 학회 최종 공개본의 과제·자료 구성과 평가를 확인했습니다. [1]
같은 이용자 감소, 서로 다른 다리
LTCT가 만든 가상 사례의 공통 사실은 “지난달 저녁 노선의 이용자가 감소했다”입니다. 후보 A는 “이용자 감소는 수요가 계속 낮아졌음을 뜻한다”, 후보 B는 “이용자 감소는 긴 배차 간격으로 이용을 포기한 사람이 늘었음을 뜻한다”입니다. A를 보충하면 감축 주장이, B를 보충하면 증편 주장이 더 자연스럽게 연결됩니다.
여기에서 어느 후보도 실제 조사로 확인된 사실이 아닙니다. A에는 장기 수요 자료가, B에는 배차 간격과 이용 포기의 관련 자료가 필요합니다. 계절 변화나 노선 공사처럼 또 다른 설명도 가능합니다. 표는 두 주장의 숨은 다리를 드러내며, 두 정책 가운데 하나가 반드시 옳다는 결론을 내리지 않습니다.
독자는 먼저 각 주장을 가장 잘 복원하는 후보를 고르고, 다음으로 그 후보를 검증할 질문을 적습니다. 예컨대 “같은 노선의 다른 시간대도 줄었는가?”와 “간격을 줄인 기간에 이용자가 늘었는가?”는 서로 다른 가정을 조사합니다. 이해와 평가를 분리하면 상대의 논증을 정확하게 옮긴 뒤 근거를 검토할 수 있습니다.
어디까지 말할 수 있을까요?
- 두 후보 선택형은 실제 대화에서 가능한 여러 숨은 전제를 모두 포괄하지 않습니다. 후보 제작 방식 자체의 영향도 검토해야 합니다.
- 2018년 모델 평가를 현재 모든 AI의 능력으로 일반화할 수 없으며, 한국어 정책 토론의 정답률도 이 자료에서 얻을 수 없습니다.
원문에 근거한 한계와 LTCT의 적용 범위 검토입니다. [1]
교육 현장과 연결해 보면
같은 사실을 근거로 서로 반대 결론을 낸 두 짧은 글을 비교합니다. 학생은 각 글에서 생략된 연결 전제를 복원하고 그 전제를 받아들일 이유를 따로 적습니다.
추가 정보를 제시해 어느 연결 전제가 약해지는지 판단하게 합니다. 교사는 글쓴이의 의도를 그럴듯하게 복원한 답과 그 전제가 충분히 정당화됐다는 판단을 구분합니다.
상대방의 숨은 전제를 정확히 찾아냈다면 그 주장에 동의해야 할까요?
생각을 비교할 해설 펼치기
동의할 필요는 없습니다. 복원은 어떤 연결 고리로 그 결론에 도달했는지를 설명하는 일입니다. 평가는 그 연결 고리가 사실에 맞고 충분한지 따지는 일입니다. 이용자 감소를 수요 감소로 해석했다는 점을 이해하면서도, 그 해석을 뒷받침할 조사 자료를 요구할 수 있습니다.
원문과 출처 정보
한국어 제목은 이해를 돕기 위한 LTCT 번역입니다. 한글 제목 뒤 괄호에 원제를 함께 표기했습니다. 저자·학술지·원문 버전은 원문 서지정보를 기준으로 확인할 수 있습니다.
논증 추론 이해 과제: 숨은 연결 전제의 식별과 복원 (The Argument Reasoning Comprehension Task: Identification and Reconstruction of Implicit Warrants)
Ivan Habernal; Henning Wachsmuth; Iryna Gurevych; Benno Stein (2018). NAACL-HLT 2018, 1930–1940.
- 자료 성격
- 학술 논문 공개본
- 읽은 버전
- 2018-06 학회 최종 공개 PDF
- 확인 범위
- 초록·서론, 과제 정의, 자료 수집·검토 절차, 실험 및 결론 확인. 자료·코드는 실행하지 않음
- 원문 확인일
이 글은 한국어 해설이며 원문 전문 번역이 아닙니다. 도식과 활동의 제작·재구성 범위는 각 그림과 본문에 표시했습니다. 자료 선정과 출처 기준
