정답 하나로는 규칙을 안다고 말할 수 없다

한 번 적용한 규칙을 다섯 방향으로 다시 묻는다

클라스 베거·라이언 이·멜러니 미첼은 ARC의 표준 평가가 새 입력의 출력 격자를 맞히는 한 능력만 본다고 지적합니다. 연구 질문은 정답 격자를 만든 모델이 그 밑의 추상 규칙을 실제로 획득했다면, 규칙을 정의하고 사례를 분류하며 조건에 맞는 새 사례를 만들고 잘못된 사례를 고치고 출력에서 입력을 역산할 수도 있어야 하지 않는가였습니다.[1]

PotARCin은 ARC-AGI-1의 400개 훈련 과제와 새로 만든 P-ARC 50개 과제에 생성기·검증기를 붙이고, 정의·분류·조건부 생성·편집·역산의 다섯 차원을 각각 새 문맥에서 평가했습니다. 다섯 최신 모델을 두 번 평가해 표준 출력 정확도, 차원별 정확도, 다섯 차원을 모두 통과한 과제 비율을 나눠 보고했습니다.[1]

ARC-AGI-1에서 표준 출력 정확도보다 다섯 차원 모두 통과한 비율이 25~52퍼센트포인트 낮았습니다. 공개 과제와 다른 P-ARC에서는 모든 모델의 전체 통과율이 1~8%였습니다. 한 차원을 다섯 번 묻는 것보다 다섯 차원을 한 번씩 물을 때 실패가 더 많이 드러났고, 정답 규칙 프로그램을 쓴 뒤에도 다른 형식에서 그 규칙과 모순되는 응답이 관찰되었습니다.[1]

한계도 큽니다. P-ARC 난도는 정식 인간 연구가 아니라 제작팀 내부 가능성 점검에 근거하며, 생성기와 검증기가 의도한 규칙을 완전히 대표하는지 보장하기 어렵습니다. 일부 모델은 공개 ARC-AGI-1 훈련 과제에 노출되었을 가능성도 있습니다.[1]

Visual Logic 문항군에는 같은 규칙으로 다섯 문항을 만들 수 있습니다. ‘규칙을 말하라 → 맞는 사례를 고르라 → 조건을 만족하는 예를 만들라 → 한 칸의 오류를 고치라 → 결과를 만들 수 있는 입력을 찾으라’입니다. 3급은 분류·편집, 2급은 정의·역산, 1급은 조건부 생성을 더해 난도를 조절할 수 있습니다.

9월 4일에 소개한 RIG-Bench가 숨은 규칙을 추론해 정답 그림을 생성하는 통합 능력을 다뤘다면, 이번 연구는 같은 규칙을 서로 다른 행위로 재사용할 수 있는지 분해합니다. 새 대단원을 만들기보다 기존 도형 문항에 ‘다섯 방향 검증’ 태그를 추가하면 중복을 피할 수 있습니다.

‘알 수 없음’과 ‘거짓’은 규칙을 먼저 정해야 갈린다

치밍 바오·아그니에슈카 멘스펠트·마이클 위트브록·코스타스 스타티스는 법률·규정·의료처럼 부정의 읽기가 중요한 영역에서 모델이 어떤 의미론을 기본값으로 택하는지, 다른 의미론을 명시하면 그 지시를 따를 수 있는지 물었습니다. 열린 세계와 닫힌 세계, 2값과 3값, 안정 모형의 신빙적·회의적 읽기는 ‘증명되지 않음’을 서로 다르게 처리합니다.[2]

연구진은 네 의미론에서 답이 갈리도록 논리 프로그램을 절차적으로 만들고 솔버로 정답을 인증했습니다. 주 평가에는 120개 프로그램을 다섯 조건으로 제시한 600개 프롬프트가 쓰였고, 여섯 모델을 대상으로 의미론을 명시한 경우와 생략한 경우를 비교했습니다. 이야기 소재·영어와 중국어·규칙 순서를 바꾸어도 인증 정답은 유지되게 설계했습니다.[2]

의미론을 명시했을 때 두 최신 모델은 고정 난도의 주 평가 전 항목을 맞혔고 한 모델은 94.8%였습니다. 공개 모델 세 종은 훨씬 약했지만, 문장을 논리 프로그램으로 바꾸고 외부 솔버가 의미론을 적용하게 하자 별도의 44개 WFS 집합에서 직접 풀이 49~62%가 74~95%로 올랐습니다. 이는 자연어 읽기와 의미론 적용을 분리할 가치가 있음을 보여 줍니다.[2]

합성 프로그램과 고정 복잡도 실험이므로 실제 법률·의료 판단 능력으로 일반화할 수 없습니다. 더 깊은 프로그램, 상호작용하는 순환, 다른 부정 형식, 실제 문서 검증은 남은 과제입니다.[2]

수업 예시: ‘도서 대출 자격’ 목록에 민수의 이름이 없다고 합시다. 열린 세계에서는 자료 부족으로 미확정이고, ‘목록에 없는 사람은 자격이 없다’는 닫힌 규칙을 명시했을 때만 거짓으로 판정합니다. 먼저 판정 규칙을 고르게 한 뒤 같은 사실표를 다시 읽게 하면, 부재와 부정을 구별할 수 있습니다.

8월 28일 CES-PK가 불완전한 지식에서 충족·위반·미확정을 구별했다면, 이번 연구는 그 세 상태가 어떤 부정 의미론에서 생기는지와 모델이 명시된 규칙을 따르는지를 다룹니다. 9월 25일 일일 자료의 ‘낯선 입력을 알 수 없음으로 거절하기’와도 다릅니다. 그 글은 분류 범위 밖 입력이고, 여기서는 같은 사실을 해석하는 논리 계약입니다.

그림이 닮아도 화살표가 객체가 아니면 구조는 사라진다

리양 판 등은 과학 개요 그림을 편집 가능한 파워포인트 한 장으로 복원할 때 실패의 원인이 시각 지각, 모델의 계획, 실행 환경 가운데 어디에 있는지 물었습니다. ORBIT 절차로 출처와 라이선스를 기록한 arXiv 개요 그림 1,000개를 모으고, 네 모델 계열·두 작업 흐름·두 실행 환경의 열 구성을 비교해 10,000개 산출물을 만들었습니다.[3]

평가는 파일이 열리고 한 장으로 렌더링되는지를 먼저 검사한 뒤, 텍스트·의미 구조·배치·편집 가능성·시각 세부를 나누어 채점했습니다. 화면을 거의 모두 덮는 한 장짜리 붙여넣기 이미지는 점수 상한을 두었고, 두 자동 평가자 계열과 익명 인간 비교를 함께 사용했습니다.[3]

전문화된 슬라이드 흐름은 대체로 더 보기 좋은 결과를 만들었지만 모든 구성에서 기본 연결선이 거의 사라졌습니다. 전문 흐름의 중앙값 기본 연결선 수는 0이었고, 90%가 넘는 산출물에 연결선 객체가 하나도 없는 구성이 많았습니다. 선을 자유형 도형으로 그리면 상자를 옮겨도 따라붙지 않으므로, 그림은 닮아도 관계 편집성은 잃습니다.[3]

연구는 단일 슬라이드와 AI 분야 개요 그림 네 범주에 한정되고, 자동 평가의 절대점수는 평가 모델에 의존합니다. 원천 그림의 권리는 각 논문의 라이선스에 따라 다르며, 연구팀도 메타데이터와 재구축 절차를 배포할 때 개별 라이선스를 존중한다고 적었습니다.[3]

Visual Logic의 SVG 검수에는 ‘화살표가 보이는가’ 외에 ‘간선의 출발·도착 노드 ID가 존재하는가’, ‘노드를 옮겼을 때 끝점이 따라가는가’, ‘선이 한 장짜리 이미지에 납작해지지 않았는가’를 넣어야 합니다. 화면 유사성과 구조 무결성을 서로 다른 통과 조건으로 두는 것이 핵심입니다.

Diagram-MMU가 다이어그램의 복원·수정·질의응답을, RIG-Bench가 규칙을 새 그림으로 구현하는 능력을 다뤘다면 ReFigBench는 산출물 내부의 편집 가능한 객체 구조를 검사합니다. 기존 기사와 겹치지 않게 ‘PPTX 기술’을 새 단원으로 만들기보다 Visual Logic 제작 규정의 연결선 감사 항목으로 채택하는 편이 낫습니다.

같은 규칙을 말하고, 판별하고, 고치고, 거꾸로 찾는다

독자 활동으로 3×3 격자에서 ‘검은 칸 하나를 오른쪽으로 한 칸 옮기되 가장 오른쪽이면 왼쪽으로 돌아간다’는 규칙을 제시할 수 있습니다. 학생은 먼저 새 입력의 출력을 그립니다. 이어 규칙을 한 문장으로 정의하고, 네 후보 중 규칙을 지킨 쌍을 분류하고, 잘못 옮긴 한 칸을 고치고, 주어진 출력의 가능한 입력을 찾습니다.

마지막에는 ‘검은 칸이 보이지 않는다’는 조건을 더합니다. 입력에 검은 칸이 없다는 뜻인지, 그림이 잘려 관찰되지 않는지, 규칙이 검은 칸을 삭제했다는 뜻인지 구별하게 합니다. 정보 부재를 곧바로 부정으로 읽지 않도록 판정 계약을 먼저 적게 합니다.

LTCT 검정시험에는 3급 ‘적용·분류’, 2급 ‘정의·편집’, 1급 ‘역산·의미론 선택’으로 배치할 수 있습니다. 논술연구소에서는 주장 규칙을 정의한 뒤 반례를 분류하고 문장을 최소 수정하는 첨삭표로, 올빼미 서재에서는 한 그림을 다섯 번 다르게 읽는 주간 활동으로 바꿀 수 있습니다.

정답·의미·구조를 서로 다른 감사 항목으로 남긴다

바로 채택할 세 항목은 이렇습니다. 첫째, 문항마다 같은 규칙을 최소 두 가지 다른 행위로 재검사합니다. 둘째, 부정·미정·정보 부재를 사용하는 문항은 열린/닫힌 세계와 판정값을 명시합니다. 셋째, SVG·PPTX·HTML 다이어그램은 화면 이미지와 노드·간선 객체를 각각 검수합니다.

보류할 것도 분명합니다. P-ARC의 1~8%를 인간 난도나 학생 성취도로 해석하지 않습니다. 합성 부정 프로그램의 성능을 실제 규정 해석 능력으로 확대하지 않습니다. ReFigBench의 자동 평가 점수를 사이트 도해의 품질점수로 그대로 가져오지 않습니다.

세 원문 모두 HTML 전문의 방법·결과·한계와 arXiv 라이선스를 확인했습니다. 세 편 모두 2026년 9월 공개 프리프린트이므로 정식 심사·개정·공개 코드가 나오면 수치와 라이선스를 다시 대조해야 합니다.