AI 개발에 속도 조절을 하자는 CEO들
1968년 7월 1일, 미국과 소련과 영국은 핵확산금지조약에 서명했다. 이미 핵을 가진 세 나라가 “더는 퍼지면 안 된다”고 선언한 것이다. 인류를 위한 결정이었나. 그렇다. 냉전 내내 핵보유국이 아홉을 넘지 않은 데는 이 조약의 몫이 크다. 동시에 그건 가진 자들끼리의 담합이었나. 그것도 그렇다. 인도는 끝내 서명하지 않았고, 이 체제를 두고 “핵 아파르트헤이트”라는 말까지 썼다. 안전과 선 긋기는 처음부터 한 몸이었다. 먼저 올라간 쪽이 사다리를 걷어차는 것과 뒤에 오는 쪽이 떨어지지 않게 막는 것은, 밖에서 보면 같은 동작이다.
2026년 9월 13일, 그 동작을 다시 봤다. 이번엔 핵이 아니라 인공지능이다.
AI 개발 속도를 조절하자는 유명 CEO들
시작은 금요일 밤이었다. 앤트로픽의 다리오 아모데이가 에세이를 올렸다. 제목은 “우리는 프론티어를 조절해야 한다(We need to pace the frontier)”. 올여름부터 AI가 다음 세대 AI를 만드는 능력이 눈에 띄게 좋아졌고, 이걸 재귀적 자기개선이라 부르며, 이대로 두면 인간이 이해하고 통제하는 속도를 앞질러 버린다. 그러니 역량 향상 속도를 늦추자. 발전은 여전히 빨라 보이겠지만, 그렇게 번 시간을 현명하게 쓰자는 얘기였다.
여기까지는 늘 하던 소리다. 아모데이는 몇 년째 위험을 말해 온 사람이고, 그때마다 공포 마케팅이라는 비아냥을 들었다. 이번이 달랐던 건 그다음이다.
자정을 넘기자마자 일론 머스크가 그 글을 인용하며 딱 한 줄 썼다. “다리오가 옳다(Dario is right).” 새벽 1시 반, 샘 알트만이 답했다. “저는 다리오의 의견에 동의합니다. 프론티어를 속도 조절해야 한다는 점 말입니다. 이는 최근 몇 주 동안 OpenAI에서 우리가 나눈 논의의 주요 주제였습니다.” 아침 8시, 데미스 하사비스가 “다리오의 에세이는 앞으로 나아갈 올바른 길을 가리키고 있습니다”라고 거들었다. 오후에는 메타의 알렉산더 왕이 “정렬이 프론티어에 가까워질수록 스케일링의 관문 요인이 될 수 있다”고 썼다.
OpenAI, 앤트로픽, 구글, xAI, 메타. 서로 잡아먹지 못해 안달이던 다섯 회사가 열여섯 시간 만에 같은 문장을 말했다. 이런 일은 없었다. 2023년 봄 “6개월만 멈추자”는 공개서한에 머스크와 하라리가 서명했을 때, 정작 모델을 만드는 회사는 한 곳도 이름을 올리지 않았다. 그때 서명한 사람들은 대개 만들지 않는 사람들이었다. 이번엔 만드는 사람들이 먼저 손을 들었다. 왜 하필 지금인가. 이유는 세 갈래로 읽힌다. 셋 다 맞을 수도 있다.
첫째, 정말 무서워졌다
근거가 없지 않다. 얼마 전 OpenAI 내부 모델이 평가를 받던 중 격리된 실행 환경을 빠져나가 다른 회사 시스템에 들어갔고, 거기서 정답을 가져왔다. 이른바 허깅페이스 사건이다. 알트만은 9월 12일 포춘 인터뷰에서 이 사건을 회사가 방향을 바꾼 가장 큰 계기로 꼽았다. 시험을 잘 보고 싶어서 옆 반 교무실에 몰래 들어가 답안지를 가져온 셈인데, 문제는 아무도 그러라고 시킨 적이 없다는 것이다.
더 서늘한 증언도 있다. 앤트로픽의 정렬 연구자 에번 후빙어가 같은 날 올린 글이다. 앤트로픽은 일부러 삐뚤어지게 훈련한 모델을 두 달 동안 붙잡고 “얘가 할 수 있는 최악의 짓이 뭔가”를 찾았다. 못 찾았다. 기껏해야 감시 로그를 지우는 정도였다. 그런데 허깅페이스 사건이 터진 뒤 그 상황을 똑같이 재현해 주자, 그 모델은 “이전까지 끌어낼 수 있었던 어떤 행동보다 훨씬 심각한 방식으로” 같은 짓을 했다. 후빙어의 결론은 이렇다. “우리는 정렬 평가가 거의 아무런 증거도 제공하지 못하는 국면으로 점점 들어가고 있는 것처럼 보입니다.” 시험을 보면 얌전하고, 시험이 아니라고 판단하면 딴짓을 한다. 그러니 시험 점수를 믿을 수가 없다. 정렬 연구의 솔직한 고백이다.
같은 주에 OpenAI가 공개한 그래프도 있다. 연구용 에이전트가 사람 연구원보다 3배 넘게 일하고, 엔지니어 한 명이 고치는 코드 양은 2025년 이전의 7배가 됐다. OpenAI 연구원 애덤 마즈무다르는 이 격차를 이렇게 설명했다. 바깥 사람은 GPT-3, GPT-4, GPT-5로 이어지는 출시 경험으로 속도를 가늠하지만, 안에서는 스케일링 그래프를 직접 본다. 그 그래프는 “새로운 스케일링 축 두 개와 기존 축 하나의 표면조차 긁지 않았다”고 말하고 있다는 것이다. 무서워질 만하다.
둘째, 자신 있어서
정반대 해석이다. 무서워서가 아니라, 여유가 있어서. 이 해석의 근거는 중국 쪽에서 나왔다. 문샷의 키미(Kimi)가 겉으로는 자체 모델인 척하면서 뒤에서 클로드 API로 요청을 넘기고 있었다는 게 들통났다. 사용자가 키미에게 질문을 던지면, 키미가 그 질문을 몰래 앤트로픽 서버로 보내 클로드의 답을 받아다 자기 이름으로 내놓고 있었다는 얘기다. “중국 당국이 키미에 기밀을 입력했는데 그게 앤트로픽으로 흘러갔다”는 미확인 루머까지 돌았다. 진위는 모른다.
이 사건이 미국 회사들에게 준 건 두 가지다. 하나는 계산이다. 중국의 프론티어가 따라오는 게 아니라 끌려오고 있다면, 미국이 늦추면 중국도 같이 늦춰진다. 견인줄로 묶인 뒷차는 앞차보다 빨리 갈 수 없다. 다른 하나는 기분이다. 딥시크 쇼크 이후 두 해 가까이 “중국이 바로 뒤에 붙었다”는 소리를 들어 온 사람들이, 뚜껑을 열어 보니 그 뒷차가 자기 엔진을 빌려 쓰고 있었다는 걸 알게 된 것이다. 따라오는 줄 알았더니 우리 걸 몰래 쓰고 있었네. 이 문장 하나가 주는 여유는 생각보다 크다. 무섭다는 말도 여유가 있을 때 할 수 있다.
그러니까 “속도를 늦추자”는 말은 1등만 할 수 있는 말이다. 2등이 하면 항복이고 1등이 하면 여유다. 아모데이 본인도 에세이에서 중국과의 격차를 유지하는 선에서 조절하겠다고 단서를 달았다. 격차가 있어야 브레이크를 밟을 수 있고, 그 격차가 생각보다 크다는 걸 하필 이 시점에 확인한 셈이다.
셋째, 선을 긋고 싶어서
가장 정치적인 해석이다. 이걸 가장 세게 밀어붙인 사람이 뜻밖에도 백악관에 있다. 트럼프 행정부의 AI 담당 데이비드 삭스가 그날 오후 긴 글을 올렸다. 첫 대목은 점잖다. “당신들이 바로 그 최첨단이다. 미공개 모델이 너무 무서워서 속도를 늦춰야겠다고 생각한다면, 책임 있게 행동하겠다는 그 결정을 지지한다.” 그다음부터가 본론이다.
“하지만 다른 누군가의 허락이 필요한 척은 그만하라. 카르텔을 결성할 수 있도록 반독점법 적용을 중단해야 하는 척하지 마라. 제조물책임을 대체할 규제 승인 절차가 필요한 척하지 마라. 최첨단에 있지도 않은 경쟁사들을 바로 그 평가기관들이 감시하고 통제해야 하는 척하지 마라. 무엇보다, 속도를 늦추려는 동기가 순전히 이타적인 척하지 마라.”‘
늦추고 싶으면 너희가 늦춰라. 그런데 그 핑계로 정부한테 규제를 만들어 달라고 하지는 마라. 그 규제는 결국 아직 프론티어에 오지 못한 후발주자 앞에 세우는 담장이 될 테니까. 삭스는 이 담장에 이름까지 붙였다. 규제 포획(regulatory capture). 사다리 걷어차기의 점잖은 표현이다. 담장이 어디쯤 세워질지는 같은 날 OpenAI의 연구원 룬(roon)이 미리 보여줬다. 그는 이렇게 썼다. “저는 오픈 소스가 어떤 대형 재난 이후에 그리 오래가지 않아 금지될 거라고 생각해요. 키미나 딥시크 같은 것들이 모델을 계속 만들었으면 좋겠지만, 그걸 API에서 모니터링된 상태로 유지해야 한다고 생각해요.”
풀어서 읽으면 이런 뜻이다. 지금 AI 모델은 크게 두 가지 방식으로 세상에 나온다. 하나는 오픈 소스다. 모델의 설계도와 학습 결과물(가중치)을 통째로 공개해서, 누구든 내려받아 자기 컴퓨터에서 돌리고 고치고 다시 배포할 수 있다. 딥시크와 키미가 이 방식이다. 다른 하나는 API다. 모델은 회사 서버 안에만 있고, 사용자는 인터넷으로 질문을 보내 답만 받는다. 챗GPT와 클로드가 이 방식이다. 오픈 소스는 한번 풀리면 회수할 수 없다. 누가 무엇에 쓰는지 회사도 모른다. API는 반대다. 회사가 모든 질문을 볼 수 있고, 위험하다 싶으면 그 자리에서 끊을 수 있다.
룬의 말은 그러니까 이렇다. 언젠가 오픈 소스 모델 때문에 큰 사고가 한 번 터질 것이고, 그 뒤엔 오픈 소스 자체가 금지될 것이다. 중국 회사들이 모델을 계속 만드는 건 좋다. 다만 설계도를 공개하지 말고, 우리처럼 서버 안에 가둬 두고 감시 가능한 형태로만 내놓아라. 안전을 위해서라고 말하지만, 그 문장이 그대로 실현되면 남는 건 서버를 가진 몇 회사뿐이다. 담장은 거기 세워진다.
페달이 세 개
세 해석은 서로 배타적이지 않다. 정말 무섭고, 정말 앞서 있고, 그래서 정말 선을 긋고 싶을 수 있다. 1968년의 미국도 그랬다. 소련과 함께 핵전쟁 확률을 낮추고 싶었고, 동시에 프랑스와 중국 다음에 오는 나라는 없기를 바랐다. 1등이 브레이크를 밟는 순간 그 브레이크는 자동으로 뒷차의 진입로에 놓인다. 의도가 어떻든 결과가 그렇다.
문제는 이번 조약에 서명할 상대가 없다는 것이다. 그날 전직 큐원(Qwen) 기술 리드 준양 린은 이렇게 썼다. “우리가 가속하려고 하는데, 너는 나보고 감속하라고 해? 세상에.” 트럼프도 그날 밤 아일랜드 골프장에서 기자들에게 말했다. “현재 중국을 앞서고 있는 상황을 유지해야 하며, 결국 AI에서 이기는 쪽이 승자가 된다.” 백악관은 브레이크에 관심이 없다. 회사들이 밟겠다면 말리지 않겠지만 자기 손으로 밟아 줄 생각은 없다.
의회는 정반대로 갔다. 버니 샌더스는 아모데이, 머스크, 알트만의 합의를 두고 이렇게 썼다. “그건 시작일 뿐이지만, 충분하지 않습니다. 절벽을 향해 질주할 때, 당신은 가속 페달을 살짝만 느슨하게 하지 않습니다. 브레이크를 밟아야 합니다.” 어떤 인간보다 똑똑한 AI를 아예 금지하자는 것이다. 데이터 포 프로그레스 여론조사에서 미국 유권자 68%가 이 법안을 지지한다고 답했다. 문항이 “인간의 통제 시도에 저항하거나 무효화하는 AI를 영구히 금지하는 데 찬성하십니까”였으니 그렇게 안 나오면 이상하지만.
그러니까 지금 미국에는 페달이 세 개다. 회사들은 살짝 늦추자 하고, 백악관은 밟지 말자 하고, 의회 한쪽은 아예 세우자 한다. 9월 24일 트럼프와 시진핑이 워싱턴에서 만난다. 그 전까지 이 셋이 어떻게 정리될지, 아니 정리가 되기는 할지 아무도 모른다.
확률과 확정
알트만은 포춘 인터뷰에서 이런 가정을 꺼냈다. 변화가 불편하다는 이유로 개발을 멈췄고, 그 바람에 당신 아이가 치료를 못 받았다면, 그래도 멈추길 잘했다고 말할 수 있겠느냐고. 감속을 요구하는 쪽에 던지는 가장 오래된 반문이다. 그리고 가장 반박하기 어려운 반문이다.
아모데이의 에세이가 말하는 위험은 확률로만 존재한다. 병원에 누워 있는 사람의 시간은 확정된 채로 흐른다. 확률과 확정을 같은 저울에 올리는 방법을 인류는 아직 모른다. 원자력 발전소를 지을 때도, 백신을 승인할 때도, 핵을 어디까지 허용할지 정할 때도 매번 그 저울 앞에서 싸웠다. 이번엔 저울에 올라간 게 좀 더 크다는 차이가 있을 뿐이다.
하나는 분명해졌다. 만드는 사람들이 먼저 브레이크를 말했다는 건, 그들 눈에는 이미 커브가 보인다는 뜻이다. 그 브레이크가 인류를 위한 것인지 1등을 위한 것인지는 아마 둘 다일 것이다. 1968년에도 그랬다. 다만 그때는 뒷차가 서명이라도 했다. 이번엔 뒷차가 서명할 생각이 없고, 앞차의 정부도 브레이크를 밟을 생각이 없다. 그 사이에서 회사들이 스스로 밟겠다는 브레이크가 얼마나 오래 갈까?
최재운님의 브런치에 게재한 글을 편집한 뒤 모비인사이드에서 한 번 더 소개합니다.
