한 번 적용한 규칙을 다섯 방향으로 다시 묻는다

그림에서 무엇을 볼까요?

가운데의 변환 규칙에서 정의, 분류, 조건부 생성, 오류 수정, 역산의 다섯 검사로 선이 뻗는 그림

클라스 베거·라이언 이·멜러니 미첼은 ARC의 표준 평가가 새 입력의 출력 격자를 맞히는 한 능력만 본다고 지적합니다. 연구 질문은 정답 격자를 만든 모델이 그 밑의 추상 규칙을 실제로 획득했다면, 규칙을 정의하고 사례를 분류하며 조건에 맞는 새 사례를 만들고 잘못된 사례를 고치고 출력에서 입력을 역산할 수도 있어야 하지 않는가였습니다.

PotARCin은 ARC-AGI-1의 400개 훈련 과제와 새로 만든 P-ARC 50개 과제에 생성기·검증기를 붙이고, 정의·분류·조건부 생성·편집·역산의 다섯 차원을 각각 새 문맥에서 평가했습니다. 다섯 최신 모델을 두 번 평가해 표준 출력 정확도, 차원별 정확도, 다섯 차원을 모두 통과한 과제 비율을 나눠 보고했습니다.