증명은 왜 믿을 수 있는가 — 수학적 확실성과 신뢰 인프라¶

확실성의 통념¶

수학은 유일하게 확실한 인식의 형식으로 간주된다. 이 통념의 기반은 증명이라는 장치다. 증명은 공리에서 출발해 추론 규칙을 단계적으로 적용하여 결론에 도달하는 기호의 배열이다. 배열이 규칙을 준수하는 한 결론은 참이며, 그 참은 맥락이나 권위와 무관하게 성립한다. 힐베르트(David Hilbert)의 형식주의 프로그램은 이 이상의 가장 체계적인 표현이었다. 수학 전체를 형식화한다면 증명의 정당성은 기계적으로 확인 가능해진다. 규칙을 따르는 기호열이 있다면, 그것으로 충분하다.

이 이상에서 신뢰는 이해와 동의어다. 증명을 이해하는 자는 증명을 신뢰하고, 이해는 기호열을 직접 따라가는 행위다. 증명이 기호열로 완결될 수 있다면, 신뢰는 기호 외부의 어떤 사회적 구조도 요구하지 않는다.

검증에 걸린 4년¶

2002년 11월, 그리고리 페렐만(Grigori Perelman)은 100년 이상 미해결 상태였던 푸앵카레 추측(Poincaré conjecture)의 증명을 arXiv에 게시했다. 동료 검토를 거치지 않은 프리프린트 형식이었다. 세 편의 논문이 2003년 7월까지 연속 게시되었다. 분량은 방대했고, 논증 구조는 당대 수학의 여러 분야를 종횡으로 가로질렀다.

수학계는 즉각 수용하지 않았다. 검증하기 전에는 수용하지 않는다는 원칙을 따랐기 때문이다. 세 팀이 독립적으로 검증 작업에 착수했다. 브루스 클라이너(Bruce Kleiner)와 존 로트(John Lott), 화이동 차오(Huai-Dong Cao)와 시핑 주(Xi-Ping Zhu), 존 모건(John Morgan)과 강 티안(Gang Tian). 각 팀은 페렐만의 논문을 분절하고 재구성하고 보충하면서 수년을 소비했다. 2006년에야 수학계는 증명이 유효하다는 합의에 이르렀다.

제출과 수용 사이의 4년이 한 가지 질문을 남긴다. 2002년 11월 arXiv에 게시된 기호열은 논리적으로 완결된 상태였는가? 만약 완결된 상태였다면, 4년간의 공동체 작업은 무엇을 했는가? 형식주의의 이상이 성립한다면 규칙을 따르는 기호열은 그 자체로 신뢰를 산출해야 한다. 그러나 실제 수학적 신뢰는 공동체 전체가 수행한 협력적 검증 이후에 형성되었다. 증명의 논리적 완결성과 공동체의 신뢰 형성은 같은 시간에 일어나지 않았다.

분산된 인식론적 노동¶

페렐만 사례는 수학계 전반에 작동하는 구조적 원리의 한 표현이다. 대부분의 수학자는 자신이 매일 사용하는 정리의 증명을 직접 검토하지 않는다. 해석학을 강의하는 수학자는 코시 수렴 기준(Cauchy convergence criterion)을 적용할 때 그 증명을 원전에서 재검증하지 않는다. 페르마의 마지막 정리(Fermat's Last Theorem)가 앤드루 와일스(Andrew Wiles)에 의해 증명되었다는 것을 받아들이는 수학자 중 증명 전체를 직접 확인한 사람은 극소수에 그친다.

와일스의 증명 사례는 이 구조의 다른 층위를 보여준다. 1993년 제출된 최초 증명에는 오류가 있었다. 심사자인 닉 캐츠(Nick Katz)가 검토 과정에서 오일러 시스템(Euler system) 논증의 결함을 발견했다. 와일스는 1년의 추가 작업을 거쳐 오류를 수정하고 1995년 최종 증명을 제출했다. 수학적 확실성은 최초 제출 기호열의 내적 완결성에서 오지 않았다. 검토하고 오류를 식별하고 수정하고 재검증하는 공동체적 과정에서 왔다.

인식론적 노동의 분업은 수학의 구조적 조건이다. 현대 수학의 규모와 전문화 수준에서 개별 수학자가 모든 관련 증명을 직접 검증하는 것은 원칙적으로 불가능하다. 수학적 신뢰는 수평적 전문화와 수직적 위임의 네트워크 위에서 형성된다. 증명에 대한 신뢰는 증명을 읽는 행위에서 오지 않고, 누군가 읽었고 그 결과를 공동체가 수용했다는 제도적 기록에서 온다.

기계 검증이 신뢰를 이전한다¶

컴퓨터 보조 증명 도구들은 이 구조에 대한 기술적 해결책처럼 제시된다. Coq, Lean, Isabelle 같은 형식 검증 시스템은 수학적 증명을 형식 언어로 변환하고 기계가 단계별로 점검한다. 인간 검증자의 판단이 아니라 형식 규칙을 따르는 기계가 검증을 수행하므로, 공동체적 신뢰의 문제는 원칙적으로 우회된다는 것이 이 기대의 논리다.

플라이스펙(Flyspeck) 프로젝트가 이 기대를 구체화한 사례다. 토머스 헤일즈(Thomas Hales)가 1998년 제출한 케플러 추측(Kepler conjecture) 증명은 수천 줄의 컴퓨터 계산을 포함했고, 심사단은 완전한 수작업 검증이 불가능하다고 판정했다. 헤일즈는 HOL Light와 Isabelle을 주축으로 한 형식 검증 도구들을 사용해 증명 전체를 형식화하는 프로젝트를 개시했고, 2014년에 완료했다.

기계적 검증은 신뢰 문제를 해소하지 않는다. 신뢰의 위치를 이전한다. 형식 검증 시스템을 신뢰하려면 해당 시스템의 형식 이론이 건전하다(sound)는 것을 신뢰해야 한다. 형식 이론의 건전성을 신뢰하려면 그것을 설계하고 구현한 연구자 공동체의 작업을 신뢰해야 한다. 소프트웨어에 결함이 없다고 신뢰하려면 수년간의 사용과 검증을 통해 형성된 공동체적 합의가 필요하다. 형식화 과정 자체도 인간의 해석 작업을 요구한다. 비형식적 수학의 개념을 형식 시스템의 정의에 대응시키는 작업은 인간 수학자의 판단에 의존한다. 검증 기계는 신뢰 연쇄의 형태를 바꾸고 담당자를 교체한다.

수학적 신뢰의 구조¶

증명에 대한 신뢰는 세 층위의 인프라 위에서 성립한다. 검증 공동체, 제도 구조, 기술 인프라다. 검증 공동체는 증명을 읽고 오류를 발견하고 합의를 형성하는 수학자들의 네트워크다. 제도 구조는 저널의 동료 검토 제도, 학술 대회의 발표와 토론, 공개적으로 인정된 검증 기준들이다. 기술 인프라는 형식 검증 도구들이 인간 검증의 한계를 보완하며 신뢰 연쇄의 새 마디를 구성하는 층이다.

세 층은 서로를 전제하며 작동한다. 형식 검증 도구는 공동체의 신뢰 없이는 실효를 갖지 않는다. 제도 구조는 공동체의 규범 없이는 권위를 갖지 않는다. 공동체는 도구와 제도 없이는 현대 수학의 규모를 감당할 수 없다.

힐베르트의 형식주의는 수학적 신뢰를 인간적 요소로부터 분리하려는 기획이었다. 페렐만, 와일스, 헤일즈의 사례들은 이 분리가 수학적 실천의 실제 구조를 설명하지 못한다는 것을 드러낸다. 증명은 기호열로서 존재한다. 증명에 대한 신뢰는 그 기호열을 검토하고 승인하고 재사용하게 만드는 공동체, 제도, 도구의 연합 속에서 형성된다. 수학적 확실성은 작동하는 인식론적 인프라의 귀결이다.

작성 정보¶

초안 작성: Claude · Claude Sonnet 4.6 · Medium Adaptive Thinking
검토·개고: ChatGPT · GPT-5.5 Extended Thinking

참고자료¶

G. Perelman, "The entropy formula for the Ricci flow and its geometric applications" (2002). arXiv:math/0211159.
G. Perelman, "Ricci flow with surgery on three-manifolds" (2003). arXiv:math/0303109.
G. Perelman, "Finite extinction time for the solutions to the Ricci flow on certain three-manifolds" (2003). arXiv:math/0307245.
B. Kleiner & J. Lott, "Notes on Perelman's papers." Geometry & Topology 12 (2008), 2587–2855.
H.-D. Cao & X.-P. Zhu, "A complete proof of the Poincaré and geometrization conjectures." Asian Journal of Mathematics 10:2 (2006), 165–492.
J. Morgan & G. Tian, Ricci Flow and the Poincaré Conjecture. Clay Mathematics Institute / AMS (2007).
A. Wiles, "Modular elliptic curves and Fermat's Last Theorem." Annals of Mathematics 141:3 (1995), 443–551.
R. Taylor & A. Wiles, "Ring-theoretic properties of certain Hecke algebras." Annals of Mathematics 141:3 (1995), 553–572.
T. C. Hales et al., "A formal proof of the Kepler conjecture." Forum of Mathematics, Pi 5 (2017), e2.

인포그래픽¶

작성일: 2026년 5월 30일