수학의 전설 테렌스 타오가 욕 먹는 이유는?
1976년 여름, 미국 일리노이 대학교가 있는 어배너(Urbana) 우체국에서 나가는 모든 우편물에는 특이한 소인이 찍혔다. “Four Colors Suffice(네 가지 색이면 충분하다).” 수학과 교수 케네스 아펠과 볼프강 하켄이 120년 넘게 풀리지 않던 ‘4색 정리’를 증명한 것을 기념한 것이다. 어떤 지도든 이웃한 나라끼리 색이 겹치지 않게 칠하는 데 네 가지 색이면 충분하다는, 초등학생도 이해할 수 있는 문제였다.
허나 축하는 오래가지 않았다. 증명의 핵심을 사람이 아닌 컴퓨터가 맡았기 때문이다. 두 사람은 문제를 1,900여 개의 경우로 쪼갠 뒤, 그것을 하나하나 확인하는 일을 컴퓨터에 맡겼다. 계산에만 무려 1,200시간가량이 걸렸다. 결과는 맞았다. 그런데 그 누구도 처음부터 끝까지 손으로 따라가 볼 수 없었다.
수학자들은 불편해했다. “맞는 건 알겠는데, 왜 맞는지는 모르겠다.” 증명이란 원래 사람을 납득시키는 글이 아니었던가? 컴퓨터가 “맞다”고 말해 주는 것을 증명이라 불러도 되는가? 50년 전 수학계를 뒤흔든 이 질문이, 2026년 가을 훨씬 거대한 모습으로 돌아왔다. 이번에는 컴퓨터가 아니라 AI였고, 문제는 하나가 아니라 수백 개였다. 그리고 그 한가운데에 ‘살아 있는 수학의 전설’ 테렌스 타오가 서 있다.
수학계의 모차르트
테렌스 타오가 어떤 사람인지부터 짚고 넘어가자. 그의 별명은 ‘수학계의 모차르트’다. 1975년 호주 애들레이드에서 태어난 그는 열 살에 국제수학올림피아드에 처음 출전했고, 열두 살이던 1988년에는 금메달을 목에 걸었다. 올림피아드 역사상 최연소 금메달 기록이며, 아직도 깨지지 않았다. 스물한 살에 프린스턴대에서 박사학위를 받았고, 스물넷에 UCLA 정교수가 되었다. 그리고 2006년, 서른한 살의 나이로 ‘수학계의 노벨상’이라 불리는 필즈상을 받았다.
하지만 타오를 정말 특별하게 만드는 것은 나이가 아니라 폭이다. 대부분의 수학자가 한 분야에 평생을 바치는 데 반해, 그는 분야를 가리지 않는다. 2004년에는 벤 그린과 함께 소수 속에 원하는 만큼 긴 등차수열이 반드시 숨어 있다는 ‘그린-타오 정리’를 증명했다. 비슷한 시기 에마누엘 캔데스와 함께 정립한 ‘압축 센싱’ 이론은 적은 데이터로 원래 신호를 복원하는 기술인데, 오늘날 병원의 MRI 촬영 시간을 줄이는 데 쓰이고 있다. 2015년에는 80년 묵은 에르되시의 ‘불일치 문제’를 풀었다. 수학자들 사이에는 “막히면 타오에게 물어보라”는 말이 돌 정도다.
특히나 그는 AI를 가장 일찍, 가장 열심히 만진 수학자 중 하나다. 블로그에 AI로 수학을 하는 실험기를 꾸준히 올렸고, 수학자와 컴퓨터가 함께 2,200만 개가 넘는 명제를 푸는 크라우드 프로젝트를 이끌기도 했다. 그러니 이번 논쟁은 ‘AI를 모르는 노교수의 투정’이 아니다. AI를 잘 다루는 수학 천재가 브레이크를 걸었고, 세상은 그를 향해 야유를 보냈다. 바로 그 점이 이 논쟁을 흥미롭게 만든다.
두 달 동안 무슨 일이 있었나
일의 발단은 9월 8일이다. OpenAI는 자사 AI가 밀레니엄 7대 난제 중 하나인 나비에-스토크스 방정식 문제를 풀었다고 발표했다. 약 1만 개의 AI 에이전트가 88시간 동안 매달려 내놓은 100쪽짜리 증명이었다. 상금 100만 달러가 걸린 문제를 사흘 만에 푼 셈이다. 곧바로 논란이 따랐다. 뉴욕대 수학자 트리스탄 벅마스터는 자신이 한발 앞서 같은 길을 가고 있었다며 선취권을 주장했고, 클레이 수학연구소는 “서두르지 않고 엄밀하게” 검토하겠다며 아직 인정하지 않았다. 타오는 이때 이미 한 가지를 걱정했다. 답을 얻는 속도와 이해하는 속도가 “전례 없이 벌어지고” 있다는 것이다.
9월 11일에는 필즈상 수상자 25명이 성명을 냈다. AI가 수학계가 소화하는 속도보다 빠르게 문제를 ‘소비’하고 있으며, 이대로라면 지식을 사람에서 사람으로 전하는 사슬이 끊길 수 있다는 내용이었다. 성명의 제목은 “수학에서 AI의 심각한 오정렬(A Severe Misalignment of AI in Mathematics)”이었다. “수학에서 문제를 푸는 것은 개념적 이해와 통찰이라는 근본적인 목표를 위한 도구이자 대리 수단일 뿐”이라는 문장이 핵심이다. 서명자 명단에는 타오는 물론, 2022년 필즈상을 받은 한국계 수학자 허준이 프린스턴대 교수의 이름도 있었다. 그리고 10월 6일, 결정타가 나왔다. OpenAI가 AI가 쓴 수학 원고 수백 편을 한꺼번에 공개한 것이다. 보도에 따르면 약 4,000개 문제를 던져 370여 개 결과를 얻었고, 그중 컴퓨터 증명 검사(Lean)를 통과한 것은 일부뿐이었다. 나머지는 사람이 읽고 검증해야 하는 숙제로 남았다.
이틀 뒤인 10월 8일, 타오가 포문을 열었다. 특정 회사를 지목하진 않았지만, 미해결 문제를 대량으로 ‘수확(harvesting)’하는 방식이 수학을 “덜 비옥하게” 만든다고 비판했다. 다음 날인 10월 9일에는 칼텍에서 “Math 2.0″이라는 공개 강연을 했고, 10일 슬라이드를 블로그에 올렸다. 문제는 그 슬라이드 가운데 한 장이었다. 주말 내내 X(옛 트위터)에서는 의사, 생물학자, 구글 과학자까지 가세한 조롱이 쏟아졌고, 국내 AI 커뮤니티에서는 하루 만에 타오 관련 글 수십 편이 인기글에 올랐다. “수학 원툴”, “추세를 못 읽는 뒷북 장인” 같은 말까지 나왔다.
암 칵테일, 그리고 아스피린
문제의 사고실험은 슬라이드 29장 가운데 20쪽과 21쪽, 두 장에 걸쳐 있다. 20쪽에서 타오는 상황을 설정한다. 고도로 발전한 AI에게 “임상 3상을 통과하는 암 치료제를 찾아라. 실수는 하지 말고”라고 지시한다. AI는 막대한 계산 끝에 아무도 본 적 없는 화학물질 칵테일을 내놓는다. 컴퓨터 검사도 통과했고 실제로 임상 3상도 통과했다. 다만 어떻게 찾아냈는지는 아무도 모른다. 그리고 21쪽에서 청중에게 물는다. “이 칵테일을 당신 혈관에 주사하기 전에, 그 원리를 부분적으로라도 이해하는 인간 암 전문가가 최소한 한 명은 있다는 걸 알면 안심이 되지 않겠는가?”
의도는 쉽게 파악이 된다. AI가 임상시험 절차의 허점을 파고들어 ‘통과만 하는’ 답을 내놓을 수도 있으니, 인간의 이해가 마지막 안전장치가 되어야 한다는 것이다. 허나 하필이면 예시가 의학이었다. UCLA-칼텍 의과학자 과정에서 암 면역학을 연구하는 조이 리는 타오의 블로그에 이렇게 답했다. “오늘날에도 의료적 치료법은 사실상 누구도 완전히 ‘이해’하지 못한다. 신약 승인의 금과옥조는 이론적 이해가 아니라 임상 3상이다.” 구글의 과학자 페이만 밀란파르는 한발 더 나갔다. “그가 말을 할수록 수학 밖의 일에 얼마나 무지한지 드러난다.”
아프지만 반박이 맞다. 우리 집 약상자에도 있는 아스피린이 좋은 예다. 화학자 펠릭스 호프만이 아스피린을 합성한 것은 1897년이다. 인류는 그 뒤로 수십년 동안 이 약을 수억 알 삼켰다. 아스피린이 왜 통증을 줄이는지 밝혀진 것은 무려 74년 뒤인 1971년, 영국의 약리학자 존 베인에 의해서다. 그는 이 공로 1982년 노벨 생리의학상을 받았다. 전신마취는 더하다. 1846년 보스턴에서 에테르 마취 수술이 성공한 이후 180년 가까이 써 왔지만, 마취제가 의식을 어떻게 끄는지는 아직도 완전히 설명되지 않는다. 우리는 이미 ‘이해하지 못한 채 믿고 쓰는’ 세상에 살고 있는 것이다.
허나 여기서 한 가지 짚고 넘어가야 한다. 타오의 원래 문장을 다시 보자. 그는 원리를 ‘완전히’ 아는 사람을 요구하지 않았다. “부분적으로라도(even partially)” 이해하는 사람이 한 명이라도 있느냐고 물었다. 사실 조이 리도 같은 댓글에서 “우리는 보통 어느 수준에서는 기전을 이해한다”고 인정했다. 완전한 이해는 없어도 부분적인 이해는 있다는 것, 이것이야말로 타오가 묻고 있던 것이다. 그러니 아스피린 반박은 타오가 하지 않은 말을 때린 면도 있다.
그런데 왜 이렇게까지 역풍이 불었을까. X에서 퍼진 것은 두 장짜리 질문을 한 장으로 줄인 이미지였고, 거기에는 ‘부분적으로라도’라는 단서가 보이지 않는다. 강연 당일 화면과 지금 블로그에 올라 있는 파일이 달랐던 것인지, 옮겨지는 과정에서 빠진 것인지는 분명하지 않다. 분명한 것은 단서 하나가 빠지자 질문의 결이 확 바뀌었다는 점이다. “부분적으로라도 이해하는 사람이 있으면 안심되지 않겠냐”는 물음이, “이해 못 하면 쓰지 말라”는 주장으로 읽힌 것이다. 커뮤니티가 그토록 흥분한 것도 이 때문이다. 물론 오해받기 쉬운 비유를 고른 것은 타오 자신이었지만 말이다.
그런데 타오가 정말 틀렸을까
다시 1976년으로 돌아가 보자. 4색 정리의 컴퓨터 증명이 나온 뒤, 수학자들은 “맞았으니 됐다”고 덮지 않았다. 20년이 지난 1996년, 로버트슨·샌더스·시모어·토마스 네 사람은 확인해야 할 경우를 600여 개로 줄인 훨씬 깔끔한 증명을 내놓았다. 다시 10년 뒤인 2005년, 마이크로소프트 연구소의 조르주 곤티에는 이 증명 전체를 컴퓨터 증명 검사기로 한 줄 한 줄 검증했다. 오늘 OpenAI가 자랑하는 ‘Lean 검증’의 뿌리가 바로 여기에 닿아 있다. 이해되지 않는 증명 하나를 붙들고 30년을 씨름한 끝에 새로운 분야가 하나 태어난 것이다.
여기서 중요한 것은 순서다. 답이 먼저 왔고, 이해는 한참 뒤에 따라왔다. 아스피린도 마찬가지다. 약이 먼저 팔렸고, 존 베인의 노벨상은 74년 뒤에 왔다. 그리고 그 이해는 공짜가 아니었다. 베인의 발견은 후대의 새로운 진통제 개발로 이어졌고, 4색 정리를 파고든 수학자들은 형식 검증이라는 도구를 얻었다.
답은 한 번 쓰면 끝이지만, 이해는 다음 질문을 낳는다.
타오가 정말 하고 싶었던 말도 사실 여기에 있다. 그의 슬라이드에는 암 칵테일보다 훨씬 좋은 비유가 있었다. 미해결 문제는 ‘목적지’가 아니라 ‘등대’라는 것이다. 등대를 향해 헤매는 동안 배우는 여러 갈래길이 수학의 진짜 재산인데, AI가 헬기를 타고 등대에 바로 내려 버리면 그 길은 아무도 걷지 않게 된다. 문제는 그 헬기가 한 대가 아니라는 점이다. 1976년에는 이해되지 않는 증명이 한 편이었고, 수학계는 그것을 30년에 걸쳐 소화했다. 2026년 10월에는 그런 증명이 하루에 수백 편 도착했다. 필즈상 수상자 25명이 “소화보다 소비가 빠르다”고 경고한 것도 같은 맥락이다.
답은 먼저 써도 된다. 다만
그래서 나는 이번 논쟁을 이렇게 정리하고 싶다. 답은 먼저 써도 된다. 다만 이해는 반드시 뒤따라가야 한다.
타오의 질문을 “사람이 이해하기 전에는 그 답을 쓰지 말라”로 읽는다면, 그건 틀렸다. 아스피린과 마취제가 보여 주듯, 인류는 늘 원리를 다 알기 전에 먼저 써 왔다. 암 환자에게 “원리를 아는 사람이 나올 때까지 기다리라”고 말할 수는 없다. 다만 타오 자신도 그렇게까지 말하려던 건 아니었을 것이다. ‘부분적으로라도’라는 단서가 그 증거다.
그렇다고 커뮤니티의 환호가 다 맞는 것도 아니다. 답이 나왔으니 이제 끝났다는 생각은 4색 정리 이후의 30년을 통째로 지워 버린다. 답을 쓰는 것까지는 괜찮다. 다만 누군가는 그 뒤를 쫓아가며 공부를 해야 한다. 왜 맞는지, 어디까지 믿어도 되는지, 이 답 덕분에 어떤 새로운 질문을 던질 수 있는지를. 그 공부를 건너뛰면 당장은 답이 쌓이는 것 같아도, 언젠가는 그 답을 다룰 줄 아는 사람이 사라진다.
허준이 교수는 이 점을 훨씬 쉽게 말했다. 성명 일주일 뒤 동아일보와의 인터뷰에서 그는 이렇게 했다. “우리 할머니는 무작위 숫자 7개로 된 전화번호를 50개씩은 외웠지만 이제 인간은 그걸 못하죠. 휴대전화가 있으니까요.” OpenAI의 논문을 두고는 “본인의 해법이 맞다는 것만 보여 준 문서”라고 평했다. 그는 AI를 거부하자고 하지 않았다. 다만 “우리가 수천 년간 개발해 온 값진 능력을 5년, 10년 안에 개발된 AI에 의해 잃는 것은 불필요한 도박”이라고 경고했다. 뒤따라가는 공부를 건너뛴 사회가 잃어버리는 것이 바로 이 능력이다.
그렇다면 진짜 물어야 할 것은 “AI를 믿어도 되는가”가 아니다. “뒤따라가는 공부는 누가 하고, 그 비용은 누가 대는가”다. 지금은 답을 낸 회사가 박수를 받고, 수백 편의 원고를 검증하고 소화하는 일은 고스란히 수학계에 떠넘겨진다.’
사실 이 지적은 이미 나와 있었다. 타오와 허준이가 서명한 9월 11일 성명은 AI 기업들이 논문을 쓰고 선행 연구를 인용할 시간도 주지 않고 성과부터 발표한다고 꼬집었다. 9월 말에는 티모시 고어스, 에드워드 위튼 등이 참여한 독립 수학자 자문단이, AI가 낸 결과를 사람이 이해하도록 돕는 학회·워크숍·해설서에 AI 회사가 돈을 대야 한다고 권고했다. 자문단의 하버드대 교수 멜라니 우드의 한마디가 핵심을 찌른다. “이제부터 일이 시작된다.” 원고가 공개된 뒤에는 타오 자신도 SNS에 “분야 자체에는 관심도 없는 AI 프롬프터들이 문제를 자동으로 풀고 있다”고 썼다. 그 답을 설명하고, 발표하고, 동료들과 나눌 사람이 없다는 것이다.
안타깝게도 이 정확한 지적들은 암 칵테일 슬라이드 한 장에 묻혀 버렸다. 사람들은 타오의 진단이 아니라, 단서가 잘려 나간 채 돌아다닌 비유 하나만 기억했다. 극단적인 사고실험 대신 “숙제는 누가 하느냐”를 전면에 세웠다면, 그는 조롱이 아니라 공감을 얻었을 것이다.
재미있게도 그 공부를 가장 잘 도울 수 있는 것 또한 AI다. 타오도 강연 끝머리에서 바로 그것을 제안했다. 이미 풀린 정리에 더 쉬운 설명을 붙이고, 실패한 시도까지 기록으로 남기고, AI로 수학을 더 넓게 탐험해 보자고. 그는 Math 2.0을 가로막는 가장 큰 벽이 기술도 제도도 아닌 “상상력”이라고 했다. 이 대목 역시 거의 주목받지 못했다.
대학 강의실에서도 비슷한 장면을 마주한다. AI가 써 준 답을 제출하는 것 자체를 막을 방법은 이제 없다. 내가 학생들에게 요구할 수 있는 것은 하나뿐이다. 답을 받았다면, 이제 그 답을 설명해 보라는 것. 수학계가 AI에게, 우리 사회가 AI 회사들에게 요구해야 할 것도 결국 같지 않을까? 답은 얼마든지 받아도 좋다. 다만 그 답을 설명할 수 있는 사람만큼은 끝까지 남겨 두어야 한다. 답이 하루에 수백 개씩 쏟아지는 시대라면 더더욱 그렇다.
최재운님의 브런치에 게재한 글을 편집한 뒤 모비인사이드에서 한 번 더 소개합니다.
