모순을 발견하다
러셀은 자신이 연구하던 집합과 개념의 원리에서 자기 자신을 가리키는 조건이 충돌하는 문제를 발견했습니다. 정확한 발견 월일은 자료마다 차이가 있으므로 단정하지 않습니다.
HUMANITY & PROOF · BERTRAND RUSSELL / 07
책을 소개하는 목록책을 생각해 봅시다. 어떤 목록책에는 그 책 자신의 제목도 실려 있고, 어떤 목록책에는 자기 제목이 빠져 있습니다. 이제 자기 제목을 싣지 않은 목록책만 빠짐없이 모아 새로운 목록책을 만든다고 해 봅시다. 그 새 책에는 새 책 자신의 제목도 실어야 할까요?
이 질문은 말장난처럼 보이지만, 수학에서 어떤 조건을 만족하는 대상을 모두 모아 하나의 집합으로 만들 수 있는지를 묻는 문제와 연결됩니다. 버트런드 러셀은 이 질문을 끝까지 따라가자 모순이 발생한다는 사실을 밝혔습니다.
조건만 정하면, 그 조건을 만족하는 대상 전체가 언제나 하나의 집합이 될까요?
러셀은 수학의 기본 개념과 정리가 논리적으로 어떻게 성립하는지 연구했습니다. 특히 수, 관계, 집합 같은 개념을 몇 가지 명료한 원리에서 설명하려 했습니다. 이 과정에서 그는 어떤 조건을 말할 수 있으면 그 조건에 해당하는 것들을 하나의 집합으로 묶을 수 있다는 생각을 점검했습니다.
사과들을 모으면 사과의 집합을 만들 수 있고, 짝수들을 모으면 짝수의 집합을 생각할 수 있습니다. 그런데 집합을 만드는 규칙을 어떤 조건에나 제한 없이 적용하면 어떨까요? 러셀이 발견한 문제는 바로 이 ‘제한 없이’라는 말에 숨어 있었습니다.
1902년 6월 16일 러셀은 논리학자 고틀로프 프레게에게 편지를 보내 자신의 발견을 알렸습니다. 프레게는 당시 산술을 논리로 기초 지으려는 연구를 진행하고 있었습니다. 이 역설은 프레게의 형식 체계에서 사용한 원리에도 심각한 문제가 있음을 드러냈습니다. 여기서 다룰 집합 표기는 오늘날의 이해를 돕는 재구성입니다. 1902년 편지와 1903년 책에서는 당시의 술어·류(類) 개념과 기호를 사용했습니다.
러셀은 자신이 연구하던 집합과 개념의 원리에서 자기 자신을 가리키는 조건이 충돌하는 문제를 발견했습니다. 정확한 발견 월일은 자료마다 차이가 있으므로 단정하지 않습니다.
러셀은 프레게에게 발견한 모순을 전했습니다. 당시 편지의 기록은 맥매스터대학교의 러셀 서신 기록과 독일어 원문에서 확인할 수 있습니다.
『수학의 원리』(The Principles of Mathematics) 제10장 「모순」에서 문제를 상세하게 설명하고 해결의 어려움을 검토했습니다.
러셀은 1908년 유형 이론에 관한 논문을 발표했습니다. 이후 화이트헤드와 함께 『프린키피아 마테마티카』를 1910~1913년에 출간했습니다. 한 가지 역설을 피하는 규칙의 설계가 논리학의 중요한 연구 과제가 되었습니다.
집합을 만들 수 있다는 주장을 하려면, 어떤 대상을 어떤 조건으로 모을 수 있는지부터 따져 보아야 합니다.위 문장은 러셀의 직접 인용문이 아니라 오늘의 문제를 요약한 설명입니다.
증명에 등장하는 ‘집합’과 ‘원소’부터 분명히 구별하겠습니다. 기호의 뜻을 익힌 다음, 문제의 집합을 정의하고 두 가지 가능성을 차례로 확인합니다.
집합은 어떤 대상들을 모아 생각하는 수학적 개념입니다. 예를 들어 A = {1, 2}라고 쓰면 A는 1과 2를 원소로 가진 집합입니다. 이것을 1 ∈ A라고 적습니다. ‘1이 A에 속한다’는 뜻입니다. 반면 3 ∉ A는 3이 A의 원소가 아니라는 뜻입니다.
집합도 하나의 대상으로 취급할 수 있습니다. B = {A, 3}이라고 쓰면 B의 원소는 집합 A와 숫자 3입니다. 이때 A ∈ B는 참입니다. A 자체가 B의 한 원소인 것입니다. 숫자 1은 A에 들어 있지만, 위에서 정의한 B의 원소로 직접 적혀 있는 것은 아닙니다. 이처럼 ‘들어 있다’는 관계가 어느 집합을 기준으로 하는지 명확해야 합니다.
이번에는 질문을 조금 바꿔 봅시다. 집합 A가 자기 자신을 원소로 가질 수 있을까요? A ∈ A라는 표시가 뜻하는 바로 그 경우입니다. 우리가 방금 만든 A에는 원소 1과 2만 있으므로 A ∉ A입니다. 다른 어떤 집합을 생각하든 자기 자신을 원소로 포함하는지 여부를 묻는 질문 자체는 제기할 수 있습니다. 다만 이런 경우를 허용하는지는 채택한 집합 이론의 규칙에 달려 있습니다.
2보다 큰 자연수들을 하나의 집합으로 묶거나, 짝수들을 하나의 집합으로 묶는 일은 익숙합니다. 여기서 한 걸음 더 나아가, 대상 x에 관해 명확한 조건을 말할 수만 있으면 그 조건을 만족하는 x 전체가 언제나 하나의 집합을 이룬다고 주장하면 어떨까요?
이 원리를 흔히 무제한적 집합 형성 원리라고 설명합니다. 예를 들어 ‘x는 짝수다’라는 조건으로 짝수들의 집합을 만들듯, 어떤 조건이든 같은 방식으로 사용할 수 있다는 생각입니다. 러셀은 바로 이런 제한 없는 사용에서 모순이 생긴다는 사실을 보여 주었습니다.
중요한 점은 여기서 우리가 아직 실제로 그런 집합이 존재한다는 사실을 확인한 것이 아니라는 것입니다. 그런 집합을 언제나 만들 수 있다고 가정하고, 그 가정이 유지될 수 있는지 시험하는 중입니다.
앞에서 A = {1, 2}라고 정의했습니다. A는 자기 자신을 원소로 포함하지 않습니다. 따라서 지금 만든 규칙에 따르면 A는 ‘자기 자신을 원소로 가지지 않는 집합’이라는 조건을 만족합니다. 반면 어떤 대상이 자기 자신을 원소로 가진다면, 이 조건에는 해당하지 않습니다.
이제 모든 집합을 대상으로 이 조건을 적용한다고 가정합니다. 그러면 이 조건을 만족하는 것들의 집합이 하나 생길 것이고, 그 집합의 이름을 R이라고 붙일 수 있을 것입니다. R에는 바로 ‘자기 자신을 원소로 가지지 않는 집합’만 들어갑니다.
이 질문은 피할 수 없습니다. R이 실제로 하나의 집합이라면 집합 R 역시 우리가 조사하는 집합들 가운데 하나이기 때문입니다. 그렇다면 R은 R 자신의 원소일까요? 이 물음에 어떤 대답을 하든 문제가 생기는지 두 경우를 나누어 확인하겠습니다.
먼저 R ∈ R이라고 가정해 봅시다. R을 원소로 받아들인 집합은 ‘자기 자신을 원소로 가지지 않는 집합’만 받아들인다는 규칙을 갖고 있습니다. 따라서 R이 그 집합의 원소이려면 R도 자기 자신을 원소로 가지지 않는 집합이어야 합니다.
말로 풀면 이렇습니다. “R은 자기 자신을 원소로 가진다”고 시작했더니, R의 가입 조건은 “자기 자신을 원소로 가지지 않아야 한다”고 말합니다. 바로 같은 대상 R에 관해 서로 충돌하는 결론이 나옵니다.
따라서 이 첫 번째 대답을 받아들이면 모순이 생깁니다. 그렇다면 “R은 자기 자신의 원소가 아니다”라고 대답하면 해결될까요? 다음 경우를 보겠습니다.
이번에는 반대로 R ∉ R이라고 가정해 봅시다. 말 그대로 R은 자기 자신을 원소로 가지지 않는 집합입니다. 그런데 R이 어떤 집합인지 떠올려 보세요. 자기 자신을 원소로 가지지 않는 집합을 모두 모아 놓은 것이었습니다.
지금의 가정대로라면 R 자신도 R의 원소가 될 자격을 갖추었습니다. 따라서 R은 R에 포함되어야 합니다. 이번에도 출발한 가정과 결론이 서로 충돌합니다.
첫 번째 대답은 “속한다”에서 출발해 “속하지 않는다”로 바뀌었습니다. 두 번째 대답은 “속하지 않는다”에서 출발해 “속한다”로 바뀌었습니다. 두 경우 모두 같은 가정 안에서 모순이 발생했습니다.
어느 쪽으로 답해도 반대 결론이 따라옵니다. 이 모순은 ‘모든 조건으로 언제나 집합을 만들 수 있다’는 가정이 지나치게 넓다는 것을 보여 줍니다.
문제의 R이 실제로 있는 집합이라서 모순이 난 것인가요? 그 반대입니다. R이 하나의 집합으로 존재한다고 가정하자 모순이 났습니다. 따라서 R을 보통 집합처럼 존재한다고 받아들이는 가정을 철회해야 한다는 것이 결론입니다. 우리가 확실하게 보인 것은 그런 R을 만드는 규칙이 허용될 수 없다는 점입니다.
그러면 어떤 조건으로도 집합을 만들 수 없나요? 여전히 수많은 집합을 만들 수 있습니다. 핵심은 집합을 만드는 규칙에 적절한 범위를 주는 것입니다. 예를 들어 A라는 집합이 이미 주어졌을 때, A의 원소 가운데 x ∉ x를 만족하는 것만 골라 새 집합을 만드는 방식은 현대의 표준적인 집합론에서 허용됩니다. 이 경우 만들어진 집합이 반드시 원래의 A에 속해야 할 이유는 없습니다.
‘이발사는 자기 수염을 깎는가?’라는 이야기와 같은가요? 마을 사람 중 자기 수염을 깎지 않는 사람의 수염을 전부, 그리고 그런 사람의 수염만 깎는 이발사가 있다고 가정하는 비유가 널리 알려져 있습니다. 이발사가 자기 수염을 깎는 경우와 깎지 않는 경우 모두 조건을 위반합니다. 이 비유는 모순의 형태를 느끼게 해 주지만, 러셀이 다룬 집합 형성 원리와 집합론의 역사 전체를 대신하지는 못합니다.
혹시 ‘모든 집합을 모은 집합’도 만들 수 없나요? 오늘날 널리 쓰이는 체르멜로–프렝켈 집합론에서는 모든 집합을 원소로 갖는 하나의 집합을 인정하지 않습니다. 이 맥락에서 ‘모든 집합’을 말할 때는 개별 집합 하나와 구분되는 더 넓은 모음의 개념을 사용합니다. 이 점을 구분하면 역설의 결과를 ‘집합을 전부 버려야 한다’는 결론으로 오해하지 않을 수 있습니다.
직접 확인해 볼 문제: ‘자기 자신을 원소로 가지지 않는 모든 집합’을 R이라고 할 때, R ∈ R을 가정하면 어떤 조건을 위반할까요? R ∉ R을 가정하면 이번에는 왜 원소가 되어야 할까요? 두 경우의 결과를 직접 써 보면 모순의 정확한 위치를 확인할 수 있습니다.
러셀의 역설은 어떤 조건이든 만족하는 대상 전체가 반드시 하나의 집합을 이룬다는 원리가 모순을 낳는다는 사실을 보여 줍니다. 이 증명만으로 모든 수학의 정리가 거짓이 되거나, 집합 이론 전체를 사용할 수 없게 되는 것은 아닙니다.
러셀은 유형 이론을 발전시켜 자기 자신을 부적절하게 가리키는 구성에 제약을 두려 했습니다. 이후 집합론은 집합을 만드는 조건과 범위를 공리로 분명히 규정하는 방식으로 발전했습니다. 역설이 남긴 질문은 ‘무엇을 모을 수 있는가’에 관한 규칙을 어디까지 허용할 것인가입니다.