문법에 맞는 그래프보다 답에 필요한 간선이 먼저다

그림에서 무엇을 볼까요?

원 그림에는 A에서 B, B에서 C로 가는 답 관련 경로가 있지만 구조 텍스트에서 B에서 C 간선이 빠져 오답이 되는 비교

윈베이 장·재닛 왕·지훈 함·찬단 K. 레디는 다이어그램을 구조화된 텍스트로 바꾸면 시각 추론을 대체할 수 있는지, 실패가 구조 추출의 누락인지 이후 풀이기의 오류인지 물었습니다. 같은 풀이 모델과 생성 설정을 유지한 채 원 이미지, 질문을 보지 않고 자동 추출한 구조, 원천 데이터에서 만든 정답 구조를 비교했습니다.

고정된 FlowGen 보류 집합 240개 다이어그램에 각각 세 질문을 붙인 720문항을 사용했습니다. 질문은 들어오는 이웃·나가는 이웃, 간선 관계, 최단 경로를 물었습니다. 연구진은 구조의 전체 일치도뿐 아니라 해당 질문에 필요한 노드와 간선이 맞는지 따로 재고, 관련 간선과 무관한 간선을 하나씩 바꾸는 개입도 실시했습니다.