History

고대의 수학✔

고대에는 손으로 수를 셈하면서 수의 개념이 추상화되었고 허벅지와 종아리가 이루는 모양을 관찰하는 것으로부터 각도의 개념이 추상화되었다. 원시문명에서도 물물교환, 시간기록, 땅 넓이 계산 등의 생계활동으로 인하여 자연히 수와 사칙연산 등의 수학적 개념이 추상화되었다.

고대 그리스는 상형문자를 버리고 알파벳을 받아들였는데 이로써 더 자유롭고 쉽게 생각을 언어로 변환할 수 있게 됨으로써 지식의 발전이 가속화되었다. 이 시기에 기하학, 소수, 수열, 비례식 등이 연구되었는 유클리드가 고대 그리스의 수학을 정립하여 13권의 『원론』 을 집필했다.

유클리드 『원론』✔

유클리드는 공리로 『원론』을 시작했다. 공리란 더 이상 증명하지 말고 그냥 올바른 사실이라고 받아들이자고 약속한 명제이다. 유클리드는 모든 수학적 대상물들을 이 공리로부터 추론된 정리로 구성하려 했다. 그래서 그는 모든 수학적 진술을 공리로부터 연역하려 했고 이로써 하나의 거대한 연역 체계를 만들었다.

예를 들어 『원론』 1권의 정리 1 은 다음과 같다.

이 정리의 증명에는 원론의 정의 15 "어떤 선으로 둘러싼 도형이 있어서, 한 점에서 직선들을 그었을 때 그 도형이 놓이는 부분이 모두 서로 같으면 그 도형을 원이라 한다" 와 공리 1 "모든 점에서 다른 모든 점으로 직선을 그을 수 있다" 와 공리 3 "모든 점에서 모든 거리를 반지름으로 해서 원을 그릴 수 있다" 가 필요하다.

• 증명

  주어진 선분을 \(\overline{AB}\) 라고 하자. 그러면 공리 3 에 의하여 두 점 \(A,B\) 를 중점으로 원을 그릴 수 있다. 두 원의 교점을 \(C\) 라고 하자. 공리 1 에 의하여 두 점 \(A,C\) 와 \(B,C\) 를 잇는 선분을 그을 수 있다. 정의 15 에 의하여 \(\overline{AC}\) 와 \(\overline{AB}\) 는 길이가 같다. 또한 정의 15 에 의하여 \(\overline{BC}\) 와 \(\overline{AB}\) 는 길이가 같다. 그러므로 세 직선 \(\overline{CA},\overline{AB},\overline{BC}\) 의 길이가 모두 같다. 그러므로 삼각형 \(\triangle{ABC}\) 는 정삼각형이다. ■

  

이렇게 유클리드는 공리로부터 정리를 연역해내었다.

『원론』에는 이런 정리들이 467개 있는데 10개의 공리에서 위와 같이 연역된 것이다. 이 『원론』으로 인하여 현재 수학이라는 학문의 의미가 정립되었다. 즉, 수학이란 명백해보이는 명제를 증명없이 참으로 받아들여서 공리로 정하고 이것으로부터 수많은 정리를 연역해내는 학문이 되었다.

이 『원론』 으로 수학이 시작되었기에 인류 역사상 가장 중요한 책이라고 말하는 학자도 있다. 『원론』 은 인류가 『성경』 다음으로 가장 많이 읽은 책이기도 하다.

수학에 대한 인식✔

위와 같은 연역적 추론만으로 결론을 확립해야 한다는 방식, 즉 진리를 얻기 위하여 진리로부터 출발해야 한다는 방식도 후대에 그대로 전수되었다. 따라서 귀납 추론은 거부되었다. 귀납 추론이란 가령, "지난 100년간 해가 떳으니 내일도 뜰 것이다" 라거나 "지금까지 수많은 사과를 관찰한 결과 사과가 익으면 빨간색이었으니 새로운 사과도 빨간색일 것이다" 라는 식의 추론이다.

이 시기에 수학이 현실 세계를 직접 추상화한 것이므로 수학이 물질세계의 본질이고 수학이 자연의 짜임새과 구조를 알려준다는 인식이 생겼다. 그리고 한 대상의 추상화로 얻어낸 수학의 추상 법칙을 다른 자연적 대상에 적용할 수 있다는 인식이 생겼다. 이 인식도 후대에 받아들여졌다.

로마의 등장✔

하지만 로마인이 등장하면서 수학의 역사의 관점에서는 재앙의 역할을 했다. 로마의 국교로 기독교가 제정되었는데 기독교의 융성은 수학사에서 불행이었다. 이교도를 금지했기에 수많은 그리스 책들이 불태워졌기 때문이다.

인도와 아라비아 수학✔

인도인들은 제단을 만들면서 기하학을 익혔고, 빚을 나타내기 위하여 음수의 개념을 생각했고, 그리스인들과 달리 무리수를 과감히 수로 취급하면서 유용한 결과를 많이 얻어내었다. 그러나 인도인들에게 엄밀한 연역과 증명, 공리적 방법은 없었다.

아라비아 사람들은 대수학(algebra)라는 이름을 만들었다. 아라비아 사람들의 업적은 인도와 그리스 수학을 물려받아 잘 갖고 있다가 유럽에게 물려준 것이었다.

중세 유럽✔

로마는 멸망하기 전에 기독교를 유럽에 전파했다. 이 때문에 유럽에서는 성직자를 양성하기 위하여 고등 교육 기관이 생겨났고 옥스퍼드 대학교, 케임브리지 대학교 등이 설립되었다. 1100년 십자군 전쟁으로 유럽인들이 아라비아 땅으로 가게 되었고 그곳에서 보존되어 있던 그리스 학문을 배우기 시작했다. 그리스 학문의 존재를 알게 되자 그리스 학문 번역서에 대한 관심이 막대하게 일어났지만 당시 번역본의 질은 너무 떨어졌다. 그럼에도 유럽인들은 그리스 학문에 매료되었다.

중세 초기 이후 유럽✔

이 시기 수학 연구가 옥스퍼드 대학교, 파리 대학교, 빈 대학교에서 집중적으로 이루어졌다. 이 시기 학자들은 주로 고전의 저작을 읽고 해석하여 질 높은 번역본을 제작하는데에 온 힘을 기울였다.

르네상스 유럽✔

르네상스의 모태인 이탈리아에서는 음모, 학살, 전쟁이 끊이지 않았다. 교황을 상대로한 전쟁이 계속 일어나면서 교회에 대한 지적 저항도 일어났다. 부패한 교회를 향한 루터과 칼뱅의 종교개혁도 일어났다. 이 상황들은 자유롭고 비판적인 사고방식, 즉 수학을 발전시키기에 너무나도 좋은 사고방식을 정착시켰다.

또한 이탈리아는 지리적 요건 때문에 엄청난 부를 축적할 수 있었는데 이 부는 학문을 연구할 수 있는 여유를 제공해주었다. 한편 중세 초기 학자들이 질 높은 번역본을 만들려고 노력한 결과로 질 높은 그리스 저작들이 쏟아졌다. 그 저작들이 축적된 부를 만나서 학문 발전과 지식 전파를 가속화 시켰다.

이 시기 코페르니쿠스, 케플러, 갈릴레오, 파스칼, 데카르트, 뉴턴, 라이프니츠 등의 학자들은 하나님이 온 우주를 수학적으로 창조했다고 거듭 강조했다. 그리고 하나님이 우주를 창조할 때 수학적 추상 법칙을 심어주었다고 믿었다. 이 때문에 수학이란 자연의 불변의 법칙을 연구하는 절대적인 학문이라는 인식이 널리 퍼졌다.

르네상수 수학 연구✔

현재의 기호 체계, 대수학, 좌표평면, 함수 등의 수학적 개념이 이 시기에 정립되었다. 함수 개념이 도입되자 17세기에 곧바로 주요 과학 문제를 해결하기 위하여 뉴턴과 라이프니츠에 의해 미적분학이 탄생했다. 그러나 뉴턴과 라이프니츠는 자신이 내놓은 미적분학의 기본 개념들조차 명확하고 엄밀하게 정의하지 못했다. 그래서 미적분학의 근본이 엄밀하지 못하다는 비판을 받았다.

하지만 수학자들은 엄밀하지 못한 논리적 토대에서도 열정만으로 수학 연구를 진행시켰다. 그리고 그 열정 이면에는 자신이 연구하는 수학 법칙이 자연으로부터 추상화된 것이고 하나님이 심어놓은 불변의 법칙이기 때문에 엄밀한 논리적 토대를 의심하지 않아도 된다는 마음이 있었다.

18세기 수학✔

르네상스 시기의 수학에서만 해도 수학 개념은 현실 세계에서 직접적 추상화를 거쳐 나온 것이었다. 하지만 18세기의 수학에는 그러한 1차 추상물로부터 더욱 추상화된 도함수, 적분, 다변수함수 미적분, 미분방정식, 무한급수 등의 개념이 도입되었다.

동시에 미적분학의 논리적 기초를 마련하려는 노력은 계속되었다. 18세기 거의 모든 수학자 즉, 오일러, 라그랑주, 달랑베르, 라크루아 등이 미적분의 기초를 확립하려고 애썼지만 대다수의 노력이 아무런 성과가 없었다.

이렇게 미적분의 기초가 없음에도 미적분 연구는 계속되었는데 이는 수학자들이 물리적이고 직관적인 의미에 의지했었고, 마음 속에 한 가지 단순한 모델을 지니고 있었기 때문이었다. 그 단순한 모델이란 다항함수, 유리함수 같은 간단한 함수였다. 하지만 오일러의 혼합 함수, 비정칙 함수, 불연속 함수 등으로 연구를 확대해야 할 때 더 이상 그 단순한 모델에 빗대어 수학 연구를 진행할 수 없었다. 심지어 로그함수를 음수와 복소수로 확장해야 할 때 수학자들은 더 이상 의지할 대상이 없이 연구를 진행했다. 연구 성과가 나올 수 있었던 것은 오직 연산 규칙이 명확했다는 이유였다.

어떤 수학자들은 엄밀성 확보를 포기하며 유클리드의 『원론』의 엄밀함과 연역 체계를 이루는 공리적 방식이 너무 지나친 엄밀함이라고 비판하기까지 했다. 수학자들은 르네상스 때와 마찬가지로 하나님이 세계를 수학적으로 짰기 때문에 엄밀함 없이도 수학 이론들을 진리라고 믿을 수 있었다.

이렇게 많은 논란이 있었으나 19세기까지 미적분학의 엄밀한 논리적 토대는 마련되지 않았다.

19세기 수학✔

19세기에는 수학이 특권층 출신의 소수에 의하여 발전되는 것이 아니라 폭넓은 계층의 집단에게 확대되었고 이에따라 모든 계급에서 라플라스, 르장드르, 푸리에, 가우스 등의 학자들이 몰려들었다. 실제로 가우스는 집안 사정 때문에 벽돌 굽는 노동자가 될 운명이었지만 어머니의 전폭적인 지원으로 수학자가 될 수 있었다.

미적분학이 18세기를 지배했다면 복소수함수가 19세기를 지배했다. 가우스가 복소수 변수 함수에 관한 기본 개념을 도입했다. 복소함수론이 정립되자 아벨과 야코비에 의해 타원함수와 아벨함수를 다루는 연구가 진행되었다. 이후 가우스의 제자 리만이 수학의 새 시대를 이끌어 갔다.

대수학 연구✔

어떤 방정식이 대수적으로 풀리는지에 대한 연구가 갈루아에 의해 해명되었고 그가 최초로 대수학 이론을 일관되게 정립했다.

사원수✔

수학자들은 속도처럼 방향을 나타내는 선분인 2차원 평면 벡터를 복소수로 표현할 수 있다는 것을 알고 있었다. 그러나 한 물체에 여러 힘이 작용하는 대상물도 존재했고 수학자들은 이것을 표현하기 위하여 여러 힘을 대수적으로 다루기 위한 수학적 대상물이 필요했다. 따라서 수학자들은 3차원 복소수로 공간 벡터를 표현하려고 애썼다. 해밀턴도 수년간 새로운 복소수를 찾으려고 노력한 끝네 3차원에 해당하는 복소수를 찾았으나 새로운 복소수를 위하여 다음 2가지를 포기해야 한다는 것을 알았다.

1. 새로운 복소수는 성분이 3개가 아니라 4개이다.

2. 새로운 복소수는 교환법칙이 성립하지 않는다.

해밀턴은 이 새로운 복소수를 사원수(quaternion)라고 불렀다.

사원수 발견의 의미✔

수학자들은 실수와 복소수의 교환 법칙을 만족하지 않는데도 의미있고 유용한 수체계가 존재한다는 것을 깨달았다. 이 깨달음은 인류가 직관적으로 자명하다고 여겨왔던 실수와 복소수 체계가 신의 창조물이 아니라 실은 인간의 창조물이었다는 것을 알려주었다. 그리고 이에 따라 수학자들은 사원수 이외에도 여러 다른 수 체계가 존재할 수 있음을 알게 되었다. 이것은 인류 지성사의 전환점이었다.

고대 그리스로부터 온 우주가 수학으로 짜여져있다는 믿음이 중세 유럽으로 전수되었고 이후의 유럽인들은 하나님이 세상을 수학적으로 짰기 때문에 수학과 자연이 정확히 대응된다고 믿어왔다. 수학이 자연을 추상화시킨 것이므로 수학이 자연의 본질이라면 수학의 모순을 걱정하는 것 자체가 어불성설이었다. 하지만 사원수로 인하여 인류가 굳건히 믿어왔던 불변의 수 체계 실수와 복소수 이외에도 다른 수 체계가 존재한다는 것이 알려진 것이다. 이로써 수학의 위상은 신의 창조물에서 인간의 창조물로 추락했고, 이로써 수학에 모순이 있을 수도 있다는 비극적인 인식이 수학자들 사이에 퍼지기 시작했다.

실제로 사원수 발견 이후 해밀턴은 또 다시 겹사원수를 제시했고 클리포드는 다원수를 만들어냈다.

행렬✔

지금까지의 도함수 같은 수학적 대상물들은 물리적 현상을 직접적으로 추상화시킨 개념이지만 이것과 달리 순전히 인간 지성의 창조물인 행렬식과 행렬이 탄생했다. 행렬을 최초로 독립된 대상으로 다룬 이는 케일리라서 그가 행렬 창시자로 여겨진다.

비유클리드 기하학✔

1800년경까지 모든 수학자들이 유클리드 기하학이 물리 공간과 그 공간 안에 있는 도형의 성질을 올바르게 이상화한 체계라고 믿었다. 마치 사원수가 발견되기 전에 사람들이 수론이 자연적 대상을 참되게 이상화한 불변의 체계라고 믿었던 것처럼 유클리드 기하학만큼은 인간의 창조물이 아니라 신의 창조물이고, 자연 대상의 도형에 관한 진리를 참되게 보여주고 있다고 믿어온 것이다. 이 믿음이 얼마나 강했던지 수학자들은 논리적 기초가 부족했던 산술과 대수학, 해석학을 유클리드 기하학의 기초 위에 세움으로써 각각의 수학 체계의 참됨을 간접적으로 인정받으로 했다.

하지만 이 대다수의 생각을 데이비드 흄이 『인간 본성에 관한 연구』(1739)를 집필함으로써 정면으로 부정했다. 흄은 인간이 일련의 자연적 대상을 관찰함으로써 자의적으로 인과관계를 규명해낸 것이므로 유클리드 기하학 법칙들이 물리 세계의 진리라는 이유가 없다고 주장했다. 하지만 이 흄의 영향력은 칸트에 의하여 부정되었고 전복되었다. 칸트는 『순수 이성 비판』(1781)을 집필함으로써 물리 세계가 정확히 유클리드 기하학을 따른다고 주장했다. 동시대 사람들은 흄이 아닌 칸트를 따랐다.

『원론』 의 공리 5 : 평행선 공리✔

이처럼 유클리드 기하학이 물리 세계의 참된 이상화라는 믿음은 기원전 3000년에서 1800년경까지 흔들리지 않았다. 그 종교적인 믿음은 유클리드 기하학만큼은 절대로 인간의 창조물이 아니고 인간이 발견한 자연의 불변의 법칙이며 신의 창조물이라는 믿음이었다.

수학자들이 그 참됨을 의심한 것은 아니지만 다음과 같은 유클리드 『원론』의 공리 5, 이른바 평행선 공리를 마음에 들지 않아했다.

수학자들이 평행선 공리를 마음에 들지 않아 한 이유는 평행선 공리가 다른 공리보다 복잡해서 공리가 지녀야 한다고 여겨지는 간결함이 결여되어 있기 때문이었다.

다음 그림이 평행선 공리를 보여준다. 두 직선이 있을 때 다른 한 직선이 두 개의 직선과 만난다. 그런데 두 내각 \(\alpha,\beta\) 를 더한 것이 \(180 \degree\) 보다 작다. 그러면 두 직선을 길게 늘리면 두 직선은 두 내각 \(\alpha,\beta\) 이 있는 방향에서 만난다.

수학자들은 이 의구심을 제거하기 위하여 『원론』의 나머지 9개의 공리에서 평행선 공리를 연역해내려고 노력했다. 이것이 성공한다면 평행선 공리는 평행선 정리가 되므로 자연히 의구심이 사라지게 될 것이기 때문이었다. 그러나 이 시도는 모두 성과를 거두지 못했다.

그 시도들 중에서 사케리(1667~1733)의 시도가 그나마 유의미한 성과를 냈었다. 사케리는 유클리드 평행선 공리와 대치되는 공리를 채택할 경우 모순되는 결과가 도출된다고 결론 내리면서 평행선 공리는 진리라고 주장했다.

비유클리드 기하학의 전조✔

사케리의 연구를 알고 있던 게오로크 S. 클뤼겔(1739~1812)는 논문을 써서 평행선 공리가 진리라고 확신하는 근거가 경험에 있다고 주장했다. 이 주장은 매우 유의미한데 지금까지 평행선 공리를 자명함 때문이 아닌 경험에 의거하여 인정해왔다는 것이 밝혀졌기 때문이다. 이에 따라 클뤼겔은 사케리가 모순을 얻어낸 것이 아니라 단지 경험과 배치되는 결과를 얻어내었다는 것을 보여주었다.

클뤼겔의 논문 이후에 람베르트, 카를 슈바이카르트, 타우리누스가 평행선 공리와 대치되는 명제를 채택하여 유클리드 기하학과 전혀 다른 기하학을 구성할 수 있다는 것을 확신했다. 하지만 이 세 사람 또한 비유클리드 기하학은 단지 모순이 없는 조금 신기한 수학 이론으로 여겼고 물리 세계에 적용되는 기하학은 유클리드 기하학이라고 생각했다.

비유클리드 기하학의 탄생✔

그러나 유클리드 기하학의 물리적인 참됨을 보장하는 근거는 어디에도 없었다. 가우스(1777-1855)는 비유클리드 기하학의 연구를 통해 이것을 깨달았고, 심지어 비유클리드 기하학 또한 물리 세계에 적용할 수도 있다는 것을 알아냈다. 그러나 그는 사람들이 조롱할 것이 우려되서 비유클리드 기하학에 대한 연구를 발표하지 않았다.

흔히 로바체프스키(1793-1856)와 보여이(1802-1860) 두 사람이 비유클리드 기하학의 창시자로 여겨진다.

가우스, 로바체프스키, 보여이는 평행선 공리가 나머지 9개 공리로부터 연역될 수 없다는 것을 깨달았다. 그리고 평행선 공리는 독립적이므로 이와 배치되는 공리를 택하여 새로운 공리 체계를 얻어낼 수 있는데, 이 공리 체계는 논리적으로 아무런 문제가 없다는 것도 알아냈다.

비유클리드 기하학의 의미✔

비유클리드 기하학의 발명은 그리스 이래 가장 혁명적인 사건이었다. 왜냐하면 유클리드 기하학만큼은 인류가 인간의 창조물이 아닌 신의 창조물이고 자연의 불변의 법칙을 보여주고 있다고 굳게 믿어왔기 때문이다. 칸트가 틀렸고 흄이 옳았던 것이다.

가우스는 유클리드 기하학이 반드시 물리 세계의 기하학이 아닐 수도 있다는 것을 깨닫고 수학의 참됨을 산술에서 찾으려 했다. 그러나 이후에 믿었던 산술도 사원수의 탄생으로 변하지 않는 불변의 진리가 아니라는 것을 깨달았다.

비유클리드 기하학의 탄생은 우리 인간이, 아니 그 인간 중에서도 매우 논리적이고 객관적으로 사고한다고 여겨졌던 수학자들까지도, 순수하게 올바른 추론을 해왔던 것이 아니라 얼마나 시대정신에 영향을 받아서 추론해왔는지를 극명하게 보여주었다. 객관적으로 생각했다고 믿어왔지만 결국 주관적인 생각에 불과했고 모든 믿음과 지식의 토대가 인간의 오만함에서 비롯된 착각이었던 것이다. 인류는 자신이 만들어낸 피조물임에도 그것이 불변의 진리라고 믿었고 영원불멸하는 신적인 존재라고 추앙했던 것이다.

이에 따라 비유클리드 기하학과 유클리드 기하학에도 모순이 있는지 묻는 무모순성 문제가 제기되었다. 유클리드 기하학이 자연과 물리 세계에 완벽히 대응된다고 믿었을 때만 해도 모순이 있는지 의심하는 사람이 바보였다. 하지만 유클리드 기하학이 인간의 창조물이라는 것이 드러난 시점에서 아직까지 유클리드 기하학이 불변의 진리라고 믿는 사람이 바보가 되었다.

또한 이로써 얼마든지 새로운 기하학이 창조될 수 있다는 인식이 생기게 되었다. 실제로 사영기하학, 타원기하학, 이중타원기하학, 아핀기하학 등이 생겨났다.

비유클리드 기하학으로 공리의 자명함이라는 개념 자체가 위상을 잃었고 지금까지 가장 엄밀하고 객관적이라고 여겨졌던 증명에도 문제가 있다는 것이 드러났다.

해석학의 엄밀성 문제✔

1800년경 수학자들은 해석학 분야의 논리적 허점을 보완하려 했다. 몇몇 수학자들은 산술 만큼은 참되다고 믿었기에 산술의 개념 위에 해석학을 세우려 했다. 가우스도 결국 유클리드 기하학의 참됨에 의구심을 드러냈지만 산술만큼은 참되다고 결론 내렸었다.

실수의 기초✔

수학사에서 가장 놀라운 사실은 19세기말까지 실수 체계의 논리적 토대가 세워지지 않았다는 것이다. 대수학과 해석학이 광범위하게 발전했지만 실수의 정확한 구조와 성질을 파악하지 못한 사실은 수학이 얼마나 비논리적으로 발전해왔는가를 보여준다.

수학자들이 해석학의 엄밀성을 수론에 기초를 둠으로써 수론의 무모순성도 해결해야 한다는 자각이 생겨났다. 또한 수학자들은 비유클리드 기하학으로 인하여 기하학이 진리로써의 위상을 상실했기 때문에 수론의 기초를 정립하여 수학의 참됨을 바로세우려 했다.

실수 체계의 논리 구조에 대한 문제의 난점은 무리수였다. 그런데 무리수의 의미와 성질을 파악하기 위해선 유리수 체계의 확립이 선행되어야 했다. 칸토어와 데데킨트가 유리수를 기반으로 무리수 이론을 구성해내었다. 그리고 이들은 유리수와 무리수를 포함하는 수로써 실수 개념을 제시했다.

특히 칸토어는 집합론을 창시하고 실수집합 구조를 이해하기 위하여 무한집합 개념을 도입했다.

유리수의 기초✔

그 다음 단계는 유리수의 기초를 확립하는 것이었다. 유리수는 자연수로부터 도출될 수 있었기 때문에 수학자들은 자연수의 논리 토대를 마련하려 했다. 바이어슈트라스가 1860년대에 자연수에서 유리수를 도출해내는데 성공했다. 페아노(1858~1932)도 공리적 방식으로 자연수를 구성해내었다. 이렇게 자연수에 대한 논리적 토대가 확립되자 실수 체계의 기초를 건설하는 문제는 마무리 되었다.

기하학의 기초✔

비유클리드 기하학의 탄생으로 기하학의 기초를 확립해야 한다는 인식이 생겨 수학자들은 기하학의 기초를 확립하는 문제에 천착했다. 먼저 힐베르트는 비유클리드 기하학을 유클리드 기하학으로 환원함으로써 유클리드 기하학이 참되면 자동으로 비유클리드 기하학도 참됨을 보였다. 이후 힐베르트는 산술적 해석을 통하여 산술에 의존하여 유클리드 기하학의 무모순성을 보였다.

그러므로 이제 문제는 산술이다. 즉, 수론에 모순이 없다면 유클리드 기하학에도 모순이 없는 것이고 그 위에 세워진 해석학을 비롯한 모든 수학 체계가 모순이 없는 것이 된다.

하지만 산술 또한 사원수의 등장으로 그 참됨이 의심받게 되었다. 산술에 대한 최초의 의혹은 헬름홀츠의 『계산과 측정』(1887)에서 나왔다. 그는 산술 자체는 산술 연산의 논리적 결과를 일관되게 설명하는 방식에 불과할지도 모른다고 주장했다. 그러니까 마치 수론이 바둑이나 체스, 혹은 인간이 정한 게임 규칙처럼 인공적인 창조물에 불과할지도 모른다는 의혹이었다.

따라서 힐베르트는 산술의 무모순성 문제를 1900년대 세계수학자대회에서 발표한 문제 목록의 2번째 문제로 포함시켰다.

인간의 창조물인 수학✔

고대 그리스인, 데카르트, 뉴턴, 오일러, 칸트를 비롯한 많은 이들이 수학이 실제 현상의 정확한 서술이고 진리라고 믿었지만 사원수와 비유클리드 기하학으로 인해 수학자들은 수학이 인위적인 창조물임을 인지하였다. 칸토어는 수학이란 현실세계과 관계없이 자유롭게 개념을 만들어내고, 그 수학적 대상물들은 오로지 무모순성이라는 조건에만 구애 받는 매우 자유로운 존재라고 했다.

진리의 상실✔

19세기 말에 수학의 모든 공리가 사람이 임의로 택한 명제에 불과하다는 견해가 득세하기 시작했다. 공리는 연역의 기반일 뿐 진리가 아니었다. 이로써 1900년대 수학은 물리 세계와 단절되었다. 즉, 수학 연구가 자연에 대한 진리를 찾는 것이 아닌 무의미한 인공적 대상물들에 관한 임의의 공리의 논리적 귀결을 찾는 학문임이 드러난 것이다. 수학자들은 이 사태를 도무지 믿지 못했다. 에르미트, 힐베르트, 하디가 이 사태에 대한 부정적 견해를 표출했다. 특히 힐베르트는 1928년 세계수학자대회에서 다음과 같이 말했다.

수학의 기초✔

러셀은 칸토어가 창시한 집합론에 역설이 존재함을 보였다. 이뿐 아니라 집합론에 관련된 여러 역설이 나왔다. 체르멜로가 칸토어 집합론의 소박한 전개 방식을 공리화하였고 프렝켈이 1922년에 이 공리 체계를 좀 더 개선하여 역설을 없앴다. 그러나 이 과정에서 사용된 선택 공리는 논란거리였고 아직도 수론의 무모순성은 증명되지 않았었다.

이 상황에서 수학의 기초를 마련하려는 학파들 즉, 러셀의 논리주의 학파, 직관주의 학파, 힐베르트의 형식주의 학파가 생겼다.

논리주의 학파✔

러셀과 화이트헤드는 논리주의 학파를 창시하고 수학을 논리학으로부터 연역해내려고 했다. 이들은 논리학의 공리에서 산술을 연역해내었고 결국 해석학도 연역해내었다. 즉, 명제함수를 다루면서 집합론으로 내용을 전개한 후 그 기초 위에서 자연수를 도입했다. 자연수가 정의되면 실수, 복소수, 함수, 해석학, 기하학 전체를 구성할 수 있었고 이 내용을 『수학 원리』 에 담아 출판했다. 러셀은 논리학 공리만큼은 불변의 진리라고 믿었던 것이다. 하지만 그는 이 견해를 1937년판 『수학 원리』 에서 버렸다.

형식주의 학파✔

힐베르트는 형식주의 학파를 창시하여 집합론을 사용하지 않고 수론의 기초를 마련하여 산술의 무모순성을 확립하려 했다. 힐베르트와 그 제자들, 폰 노이만 등은 힐베르트의 증명 이론, 즉 메타수학이라는 분야를 발전시켰다. 이것은 모든 수학 분야의 무모순성을 확립하는 방법론을 다루고 있었다. 이들에게 수학이란 무의미한 기호들을 기계적으로 조작하는 일련의 과정이었다. 즉 수학은 형식적 기호 체계의 모임이다. 각각의 체계는 각자의 공리와 각자의 추론 규칙으로 각자의 정리를 도출한다. 그러므로 수학의 임무란 연역 체계의 전개에 불과하다. 이 생각은 몇 가지 공리와 몇 가지 추론 규칙으로 기계적으로, 즉 자동적으로 모든 수학적 진리를 이끌어낼 수 있다는 힐베르트 프로그램으로 이어졌다.

앞서 언급했듯 힐베르트는 기하학과 물리학의 무모순성을 산술의 무모순성으로 귀결시켰고, 형식주의자들은 얼마 안가 힐베르트 프로그램으로 산술의 무모순성을 확립할 수 있을 것이라고 믿었다.

괴델의 불완전성 정리✔

하지만 괴델이 등장하여 불완전성 정리를 발표함으로써 어떤 공리 체계의 공리와 추론규칙으로는 그 체계의 무모순성을 확립할 수 없다는 것을 보였고, 더욱 충격적이게도 수론을 포괄할만큼 충분히 복잡한 형식 체계라면 반드시 증명될 수 없는 참인 명제를 갖고 있다는 것을 보였다. 증명이란 공리로부터 명제가 어떻게 연역되는지 보이는 과정인데, 증명할 수 없는 참인 명제가 반드시 존재한다는 것은, 기계적으로 공리에 연역 규칙을 적용하여 모든 진리를 이끌어내는 힐베르트 프로그램이 불가능하다는 것을 말해주었다.

괴델의 결과는 러셀-화이트헤드 체계, 체르멜로-프랭켈 체계, 힐베르트의 공리화된 수론에 적용되었다.

그렇다면 증명될 수 없는 참인 명제를 증명하기 위해 몇가지 공리와 추론규칙을 추가하면 되지 않을까? 하지만 괴델은 불완전성 정리로 추가적인 공리와 추론규칙으로 체계를 확장한다고 해도 그 안에서 또 다시 결정불가능한 명제가 탄생한다는 것 또한 보여 주었다.

괴델이 불완전성 정리를 발표할 때 힐베르트의 제자이자 형식주의 학파였던 폰 노이만은 이렇게 말했다.

이로써 어떠한 공리 체계도 수학 전체는 고사하고 수학의 한 분야도 모두 포괄할 수 없다는 것을 보여주었고, 유클리드의 『원론』 에서 시작되어 수천년간 내려져오며 불변의 진리라고 여겨졌던 공리적 방식, 즉 연역적인 추론에는 한계가 있다는 것이 드러났다.

이후의 상황✔

절대적 엄밀성과 절대적 객관성을 추구하려는 모든 시도는 수포로 돌아갔고 수학자들은 엄밀성이라는 의미 자체에서도 합의점을 찾을 수 없었다. 집합론의 공리화도, 논리주의 학파도, 직관주의 학파도, 형식주의 학파도 보편적으로 수용할 수 있는 진리에 대한 접근법 확보라는 목표를 성취하지 못했다. 수학이 오늘날에도 여전히 활발한 것은 순전히 그 실용성 때문이다.