AI와 함께 여는 생각그림의 다음 장

AI는 그림의 어느 부분을 읽고 있을까요?

그림과 글을 함께 처리하는 AI는 도형의 이름, 배치, 선의 연결, 문장의 의미를 한 답변에 섞어 설명할 수 있습니다. 그래서 답이 틀렸을 때도 어디에서 어긋났는지를 바로 알기 어렵습니다. 화살표 끝을 잘못 보았는지, 관계를 반대로 적었는지, 관계는 맞게 적고 결론에서 넘어섰는지를 나누어 보아야 합니다.

2024년의 한 연구팀은 단순한 도형을 이용한 시각 과제를 연구했습니다. 여기서 확인한 2024년 7월 11일 원고는 당시의 네 시각·언어 모델을 대상으로 선의 교차, 원의 겹침, 표시된 글자, 도형의 수 등을 다룹니다. 연구진은 이미지 크기와 선 굵기, 질문 표현 등을 바꾸어 살폈으며, 정밀한 공간 관계를 읽는 과제에서 어려움을 보고했습니다.[1]

이 연구가 평가한 것은 2024년의 특정 모델과 정한 과제입니다. 여기서 2026년의 모든 AI 성능이나 사람 전체의 수행 능력을 추정하지 않습니다. 역사적으로 읽을 핵심은, 복잡한 질문의 전체 정답률과 단순한 선·경계의 정확한 구별을 따로 살펴볼 필요가 드러났다는 점입니다.[1]

우리의 검토에서는 세 층을 구분하겠습니다. 먼저 그림의 표시를 읽습니다. 다음으로 읽은 관계를 문장이나 규칙으로 적습니다. 마지막으로 그 규칙과 주어진 사실에서 결론이 따라오는지 확인합니다. 이 구분은 이번 글의 설계 틀이며, 앞의 연구가 그대로 제시한 평가 체계를 옮긴 것은 아닙니다.

검토를 세 층으로 나누면 수정할 자리도 구체적이 됩니다. 글자를 더 크게 보여 줄지, 화살표를 다시 읽을지, 추론의 조건을 보충할지를 서로 다른 문제로 다룰 수 있습니다.

초안을 제안하는 일과 규칙을 확인하는 일

2024년 1월 공개된 알파지오메트리는 이런 역할 분담을 생각하게 하는 기하학 사례입니다. 개발자들의 설명에 따르면, 학습한 언어 모델이 도움이 될 보조 구성을 제안하고 기호적 추론 장치가 정해진 규칙으로 풀이를 이어 갑니다. 여기서 기호적 추론 장치란 점·선의 관계와 기하 규칙을 명시적으로 다루는 프로그램입니다.[2]

추론이 막히면 새로운 구성 후보가 다음 길을 열고, 규칙에 따른 추론이 그 길을 확인합니다. 이 소개는 개발자가 공개한 2024년 시스템의 설명에 근거합니다. 임의의 사진을 읽는 모든 AI나 일상의 모든 판단을 같은 방식으로 해결한다고 확대하지 않습니다. 이 장에서는 제안과 확인을 연결한 구조에 주목합니다.[2]

설명을 읽는 쪽에도 별도의 질문이 있습니다. 터핀과 동료들의 2023년 연구는 당시 언어 모델에 주는 예시의 정답 위치나 추천 답변 같은 단서를 바꾸었습니다. 답과 설명이 그 영향을 받으면서도, 출력한 설명에서는 그 단서를 언급하지 않는 사례를 보고했습니다. 연구 본문의 서론과 실험 설정에서 확인한 결과이며, 모든 설명이 언제나 그렇다는 뜻은 아닙니다.[3]

여기서 우리 실험으로 가져올 원칙은, 제시된 설명을 원자료와 규칙에 대조할 수 있게 만드는 것입니다. 설명의 각 관계가 자료 어디에서 나왔는지, 그 관계를 사용해 결론을 정당화할 수 있는지 살펴봅니다. 이 작업은 공개된 설명의 타당성을 검토하는 일이며, 모델 내부에서 실제로 어떤 과정이 일어났는지를 그대로 복원하는 일과 구별됩니다.

작은 예를 준비했습니다. 가상의 탐사 로봇에는 두 가지 충분조건이 주어집니다. 지도 확인과 배터리 확인을 모두 마치면 출발이 허용됩니다. 출발이 허용되면 신호가 켜집니다. 첫 규칙에서는 두 조건을 어떻게 묶었는지, 둘째 규칙에서는 어느 방향으로 읽는지가 중요합니다.

이 두 규칙은 출발 허용이나 신호가 생기는 데 필요한 조건을 빠짐없이 열거한 목록이 아닙니다. 적힌 조건에서 적힌 결과로 나아갈 수 있다는 약속입니다. 그러므로 신호가 켜졌다는 사실만으로 허용이 있었다고 되짚으려면 추가 근거가 필요합니다.

AI 답변 검토실을 열어 보세요

아래 네 초안은 이 글에서 미리 작성한 가상 AI 응답입니다. 실제 모델이 낸 답변이나 측정 결과로 제시하지 않습니다. 조건을 느슨하게 읽은 경우, 화살표를 뒤집은 경우, 관계를 정확히 읽고도 결론을 앞서 단정한 경우, 자료에서 결론이 따라오는 경우를 나란히 살피도록 만들었습니다.

먼저 첫 초안을 읽고, 가운데 조건 묶음을 ‘하나 이상’에서 ‘둘 모두’로 바꾸어 보세요. 지도 확인만 마쳤다는 사실에서 출발 신호를 확정할 수 있는지가 달라집니다. 이번에는 사실 입력에서 배터리 확인도 마쳤다고 정해 보세요. 무엇을 고쳐야 결론이 정당해지는지 비교할 수 있습니다.

둘째와 셋째 초안을 이어 보면 중요한 차이가 보입니다. 둘째는 화살표를 잘못 옮겼고, 셋째는 원자료의 관계를 그대로 적었습니다. 그런데 두 경우 모두 신호만 보고 허용을 확정하려고 합니다. 그림의 두 관계가 모두 맞아도 마지막 결론까지 자동으로 맞는 것은 아닙니다.

‘자료와 결론 함께 검토’를 누르면 관계가 원자료와 맞는지, 현재 주장이 자료에서 따라오는지를 따로 확인합니다. ‘원자료대로 관계 맞추기’는 조건 묶음과 방향을 고칩니다. 현재 주어진 사실까지 새로 만들어 넣지는 않습니다. 따라서 관계를 고친 뒤에도 결론이 아직 정해지지 않을 수 있습니다.

지도와 배터리 상자의 좌우 배치도 바꾸어 보세요. 같은 관계를 유지한 채 위치만 바꾼 것이므로 판정은 유지됩니다. 배치 변화에서 원자료의 뜻을 보존하는 일은, 서로 다른 표현에서 공통으로 나타나는 관계와 추론 원리를 식별하는 연습과 이어집니다. 검토 기록을 남기면 어떤 수정이 판단에 영향을 주었는지 돌아볼 수 있습니다.

같은 자료에서 결론이 달라질 수 있다면

출발 신호가 켜졌다는 사실만 주어진 경우로 돌아가겠습니다. 한 경우에는 출발도 허용되어 있고 신호도 켜져 있습니다. 다른 경우에는 출발은 허용되지 않았지만 신호는 켜져 있습니다. 아래 두 경우는 모두 원자료의 두 충분조건을 만족합니다.

왜 오른쪽 경우도 규칙에 어긋나지 않을까요? ‘허용되면 신호가 켜진다’는 규칙이 금지하는 것은 허용되었는데 신호가 꺼져 있는 조합입니다. 허용되지 않은 상태의 신호를 어떻게 정할지는 그 규칙에 들어 있지 않습니다. 또한 아래 두 경우에서는 두 확인을 모두 마쳤다는 조건이 성립하지 않으므로, 첫 규칙도 위반하지 않습니다.

실제 로봇에 이런 기능이 있다고 가정한 것이 아닙니다. 주어진 문장만으로 어느 조합을 제외할 수 있는지 따진 것입니다. ‘신호는 출발이 허용된 경우에만 켜진다’는 규칙을 추가로 받으면 이야기가 달라집니다. 그 추가 규칙은 원자료의 문장을 거꾸로 읽는 것만으로 얻을 수 없습니다.

이 실험에서는 네 항목을 각각 참 또는 거짓으로 정하는 조합이 16개입니다. ‘미확인’으로 둔 항목은 두 가능성을 모두 남깁니다. 그중 주어진 사실과 규칙을 만족하는 모든 조합을 확인하므로, 정해진 네 항목과 두 규칙 안에서는 결론이 따라오는지를 빠짐없이 판정할 수 있습니다. 경우의 개수로 확률을 계산하는 것은 아닙니다.

15회차에서 삼각형을 여러 번 움직여 본 것과 비교해 보세요. 화면에서 고른 도형 몇 개는 임의의 모든 삼각형을 대신하지 못했습니다. 이번에는 다루는 대상을 네 항목의 참·거짓 조합으로 명시했고, 그 전체를 확인했습니다. 몇 번 보았는지뿐 아니라 무엇을 모든 경우로 정했는지가 중요합니다.

그렇더라도 로봇의 실제 안전이나 현실의 운영 절차 전체가 검증된 것은 아닙니다. 이 체험이 확인하는 것은 정해 둔 문장들 사이의 논리 관계입니다. 검토 범위를 드러내면 ‘확인했다’는 말도 그만큼 정확해집니다.

내 생각을 펼치고, 바꾸고, 다시 확인하는 공간

생각그림연구소의 이름에는 생각을 그림 그리듯 펼쳐 놓고, 그 그림을 논리적으로 해석한다는 뜻이 담겨 있습니다. AI와 함께하는 다음 단계에서는 이 그림이 수정의 자리를 구체적으로 보여 줄 수 있습니다. 문장을 상자와 관계로 펼치고, 빠진 조건을 찾고, 바꾼 부분이 결론에 미친 영향을 남기는 것입니다.

아래는 그 협업을 위한 설계 제안입니다. 사람이나 AI가 관계 초안을 만들고, 원자료와 대조하면서 규칙을 검토합니다. 고칠 부분은 초안으로 돌려보내고, 확인한 근거와 판정을 기록합니다. 이 도해는 특정 연구 시스템의 내부 구조나 현재 홈페이지의 AI 연결 상태를 묘사한 것이 아닙니다.

역할은 한 번에 고정할 필요가 없습니다. 사람이 그림을 그리고 AI가 확인할 질문을 제안할 수도 있고, AI가 만든 초안에서 사람이 조건을 수정할 수도 있습니다. 원자료와 적용한 규칙을 함께 남기면, 서로 같은 답을 말했는지와 자료로 그 답을 확인했는지를 구별할 수 있습니다.

첫 연구 질문은 표현의 변화입니다. 같은 관계를 좌우로 바꾸거나 문장·표·그림으로 옮겼을 때, 사람과 AI는 무엇을 안정적으로 유지하고 어디에서 다르게 읽을까요? 답이 바뀌었다면 바뀐 표현의 어느 요소가 영향을 주었는지 살펴볼 수 있습니다.

둘째 질문은 수정의 효과입니다. 틀렸다는 표시만 받을 때와 빠진 조건·뒤집힌 방향·결론이 달라지는 한 경우를 함께 볼 때, 이후의 설명은 어떻게 달라질까요? 수정 전후를 기록하고 새로운 문제에서 다시 살피면, 보기 좋은 그림과 도움이 되는 학습 도구의 관계를 연구할 수 있습니다.

셋째 질문은 근거를 남기는 협업입니다. 어떤 문장에서 관계를 가져왔는지, 어디에 해석을 더했는지, 어떤 경우를 확인했는지가 남아 있는 그림을 만들어 보는 것입니다. 이 질문들은 앞으로 검토할 연구 과제이며, 이번 체험으로 학습 효과나 협업 성과가 이미 입증되었다는 뜻은 아닙니다.

역사를 읽은 자리에서, 우리의 실험을 시작합니다

첫 16편은 서로 다른 시대와 목적의 그림을 만났습니다. 모든 전통이 하나의 기원에서 출발해 AI로 완성되었다는 이야기는 아닙니다. 각 그림이 해결하려 했던 문제와 그 그림을 읽는 규칙을 비교해 온 여정입니다. 다음 표는 그 차이를 잃지 않으면서 다시 찾아갈 수 있도록 묶은 길잡이입니다.

자료가 충분히 갖추어진 홈페이지를 연다는 목표는 이 글들을 하나의 긴 목록으로 쌓는 데서 그치지 않습니다. 방문자가 자기 질문에 맞는 그림을 찾고, 직접 만져 보고, 출처로 돌아가며, 다음 질문을 얻는 공간으로 이어질 수 있습니다. 역사 글과 조작 실험, 원자료 안내가 함께 놓이는 이유입니다.

이번 검토실에서 하나의 조건을 바꾸어 보았다면, 이제 자신의 문장 하나를 떠올려 보세요. 그 문장에 담긴 대상은 무엇이며, 어떤 관계로 연결되어 있을까요? 그림으로 펼친 뒤에는 어느 조건을 확인하고, 어떤 다른 경우를 살펴보아야 할까요? 생각그림연구소가 이어 갈 연구는 이렇게 한 사람의 생각을 구체적으로 펼치는 자리에서 시작할 수 있습니다.

반례를 없애려면 어떤 규칙이 더 필요할까요?

신호가 켜졌다는 사실만으로 출발 허용을 확정할 수 없다면, 무엇을 더 확인해야 할까요? 원자료에는 ‘허용되면 신호가 켜진다’만 있습니다. ‘신호가 켜지면 허용된다’까지 별도로 확인했다면 두 방향이 함께 성립합니다. 둘째 문장은 첫째 문장의 반복 설명이 아니라 가능한 경우를 더 제한하는 새 규칙입니다.

아래에서는 원자료의 두 규칙을 고정하고 추가 규칙을 켜거나 끕니다. 기본 사실은 신호가 켜졌다는 것 하나입니다. 지도와 배터리를 각각 미확인으로 두면 원자료를 만족하는 경우가 7개 남습니다. 그중 출발 허용이 참인 경우는 4개, 거짓인 경우는 3개입니다. 추가 규칙을 켜면 거짓인 3개가 제외됩니다. 이 변화가 ‘원래부터 결론이 따라왔다’는 뜻은 아닙니다.

연습 1. 기본 상태에서 추가 규칙을 켠 뒤 ‘출발 허용이 따라온다’는 판정을 한 문장으로 설명해 보세요. 해설: 신호가 켜졌다는 사실과 새로 가정한 신호→허용 규칙이 함께 결론을 지지합니다. 새 규칙의 근거를 확인하지 않았다면 현실의 출발 판단에 그대로 적용할 수 없습니다.

연습 2. 초기화한 다음 지도 확인과 배터리 확인을 모두 참, 신호를 거짓으로 바꾸세요. 남는 경우는 0개입니다. 해설: 두 확인으로 허용이 따라오고 허용으로 신호가 따라오는데, 입력 사실은 신호가 거짓이라고 했으므로 충돌합니다. 이 도구는 충돌을 발견하면 사실 확인을 요청합니다. 고전 논리의 형식적 함의에서는 모순된 전제의 취급이 다르지만, 여기서는 현실 자료 검토를 위한 오류 경고로 구분합니다.

7개 중 4개라는 비율을 실제 허용 확률로 읽지 마세요. 이 활동은 현실의 발생 가능성이나 AI의 신뢰도를 측정하지 않습니다. 네 참·거짓 항목의 가능한 조합을 빠짐없이 확인하는 고정 규칙 활동입니다.