한 사례로 규칙을 무너뜨리는 법

성공 사례가 감추는 빈칸

열람 시스템의 실제 허용 규칙은 ‘예약과 교육을 모두 충족해야 한다’고 정해져 있습니다. 누군가 예약만 있으면 허용된다고 추측했습니다. 예약도 했고 교육도 이수한 사람의 성공 기록은 이 추측과 맞아떨어집니다. 그러나 그 기록 하나는 어떤 조건이 결정적이었는지 구분해 주지 못합니다.

예약은 했지만 교육을 이수하지 않은 사람을 검사하면 두 규칙이 갈라집니다. 실제 규칙에서는 허용되지 않지만 추측은 허용된다고 말합니다. 이것이 추측의 반례입니다. 반례를 찾는 목적은 일부러 틀리게 만드는 데 있지 않고, 주장이 어디까지 성립하는지 밝히는 데 있습니다.

참고 · Open Logic Project — 모든 경우를 살피는 진리표 ↗

아직 안 본 경우를 의도적으로 만들기

실험에서는 후보 규칙을 고른 뒤 네 조합을 검사할 수 있습니다. ‘또는’ 규칙을 고르면 예약만 있거나 교육만 있는 두 경우에서 실제 규칙과 달라집니다. ‘그리고’를 고르면 네 조합이 모두 일치합니다. 작은 세계에서는 가능한 조합을 모두 검사할 수 있기 때문에 일치 여부를 확정할 수 있습니다.

컴퓨터로 조건을 만족하는 경우를 찾는 도구도 이와 연결되는 발상을 사용합니다. 아래 프로그램은 복잡한 증명기를 실행하지 않고 네 조합을 직접 확인합니다. 검사 대상이 무엇이고 어느 범위를 모두 확인했는지가 화면에 드러납니다.

참고 · Z3 프로젝트 — 명제 논리와 만족하는 경우 찾기 ↗

유한한 검사와 현실의 일반화

네 조합 전부를 확인한 이 실험과, 끝없이 새로운 사례가 들어올 수 있는 실제 AI 평가를 구분해야 합니다. 새로운 종류의 입력이 가능한 상황에서 몇 가지 검사를 통과했다고 모든 상황의 정확성을 보장할 수는 없습니다. 좋은 검증은 익숙한 성공 사례를 반복하기보다, 주장과 규칙이 갈라질 만한 경계와 예외를 의도적으로 시험합니다.