문장을 논리식으로 잘 옮기면 인공지능(AI) 추론도 끝난 걸까?
FOLIO는 자연어를 1차 논리로 옮기는 정확성과 실제 결론을 실행하는 정확성이 다를 수 있음을 보여 줍니다.
그림에서 무엇을 볼까요?
자연어 문장, 1차 논리 변환, 구문 유효성 검사, 결론과 부정의 실행으로 이어지는 네 단계 파이프라인과 번역 오류·추론 오류 점검 지점.
가상 전제는 “모든 제비는 새다”, “어떤 교사는 제비를 관찰한다”, “민서는 교사다”입니다. 결론 “민서는 제비를 관찰한다”는 상식적으로 그럴듯해도 전제에서 따라오지 않습니다. 관찰하는 어떤 교사와 민서가 같은 사람이라는 정보가 없기 때문에 열린 세계에서는 미지입니다.
먼저 각 문장을 술어와 양화사로 옮기고, 변수의 범위를 확인합니다. “어떤 교사는 제비를 관찰한다”의 존재자를 민서라는 상수로 바꾸면 번역 단계에서 정보를 추가한 것입니다. 구문 검사기는 그 식이 잘 만들어졌다고 판정할 수 있어도 의미 보존 오류까지 자동으로 찾지 못할 수 있습니다.
함께 확인할 점
93.9%와 63.8%는 논문 표 5의 특정 GPT-4 few-shot 신경기호 설정입니다. 모델·프롬프트·평가판이 달라지면 수치도 달라집니다.
FOLIO는 전문가가 정제한 영어 전제 집합입니다. 한국어의 생략, 실제 규정 문서와 장문 대화 성능을 직접 보장하지 않습니다.
생각해 볼 질문
논리 엔진이 “미지”라고 하면 현실에서도 알 수 없다는 뜻인가요?
인공지능(AI)가 쓸 만한 정리를 찾으면 증명도 끝난 걸까?
인공지능(AI)가 정답을 맞히면 근거 사슬도 맞았을까?
유의한 결과가 나오면 그 가설은 거의 참일까?