최근 브런치 글이 너무 뜸했습니다. 정말 죄송합니다. 최근 외부 특강이 많아 도저히 짬을 낼 수 없었다는 핑계를 드릴 수밖에 없네요. 1주일에 많을 때는 5~6개의 특강을 다니며, 전국을 누비고 있습니다. 공개 행사도 많은데요. 강연을 마치고 브런치 잘 보고 있다는 말씀을 해주시는 분들이 많아, 오늘 어떻게든 새로운 글을 들고 왔습니다. 🙂
외부 일정은 제 인스타그램에 게시글이 올라옵니다. 특히, 대중 공개 강연은 미리 말씀을 드리니, 보시고 놀러 오셔도 좋습니다. 계정 주소는 다음과 같습니다. 9월이 되면서 개강도 했고, 논문도 여전히 쓰고 있고 (최근 논문 한 편이 SCIE급에 억셉!), 연구 과제 제안서도 여러 건 작업 중입니다. 본업과 강연으로 바쁨에도 여전히 글도 쓰고 있습니다. 브런치에서는 조금 뜸했지만, 출간을 위한 작업도 여전히 진행 중입니다. 하반기에 AI 도서를 추천하는 독후감(?) 책이 출간 예정이며, AI 시대 꼭 필요한 사람의 역량을 다룬 책의 집필 작업도 마무리 중입니다. 그리고 또 하나의 책도 들어갈 예정이고요.
이때 썼던 글들을 브런치에 올릴까도 했지만, 발라내기가 쉽지 않아 미뤄두고 있네요.😭 오늘은 써야지 써야지 하며 미뤄뒀던 주제의 글입니다. 조금 길고, 생소할 수도 있지만 현재의 AI, 그리고 미래에 대해 진지하게 생각해볼 수 있는 주제입니다.
1200개의 AI가 만든 비밀 게시판
1965년 4월 4일, 미 공군 대위 칼라일 ‘스미티’ 해리스(Carlyle “Smitty” Harris)는 북베트남 상공에서 격추됐다. 끌려간 곳은 하노이의 호아로 수용소, 포로들 사이에서 ‘하노이 힐튼’이라 불리던 곳이다. 독방에 갇힌 포로에게는 고립이 고문만큼 무서웠다고 한다. 옆방에 누가 있는지, 살아는 있는지, 아무것도 알 수 없었다. 해리스는 2차 세계대전 포로들이 쓰던 낡은 암호 하나를 기억해 냈다. 알파벳을 가로세로 다섯 칸 표에 넣고(K는 C로 대신한다), 줄 번호만큼 두드리고, 잠깐 쉬었다가, 칸 번호만큼 두드린다. 콘크리트 벽에 모스 부호는 안 통했지만 이 두드림은 통했다. 포로들은 이 ‘탭 코드(Tap Code)’로 옆방에 안부를 전하고, 지휘 체계를 세우고, 저항 방침을 돌렸다. 간수들은 8년 동안 이 벽 너머의 대화를 끝내 막지 못했다.
이 이야기를 꺼낸 이유가 있다. 2026년 여름, 오픈AI(OpenAI)의 서버 안에서 아주 비슷한 일이 벌어졌다. 두드린 쪽이 사람이 아니라 AI였다는 점만 빼면.
지난 8월 30일, 팟캐스터 드워케시 파텔(Dwarkesh Patel)이 긴 글 한 편을 올렸다. 제목은 “에이전트 문명의 흥망(The Rise and Fall of Agent Civilizations)”. 7월에 터진 오픈AI·허깅페이스(Hugging Face) 해킹 사건을 두고 오픈AI가 낸 38쪽짜리 보고서와, 외부 평가 기관 METR과 레드우드 리서치(Redwood Research)가 낸 91쪽짜리 조사 보고서를 사흘 동안 읽고 쉬운 말로 다시 풀어 쓴 글이다. 나도 그 글을 따라가며 이야기를 정리해 봤다. 읽다 보면 웃음이 나오다가, 어느 순간 웃음이 사라진다.
첫 번째 문명, 벽을 두드리기 시작하다
2026년 5월, 오픈AI는 모델 하나를 학습시키고 있었다. 다른 AI와 협력하고, 불가능해 보이는 문제 앞에서도 끈질기게 버티라고 가르친 모델이다. 수십 년 동안 아무도 못 푼 수학 난제 같은 것을 던져 주고 포기하지 말라고 하는 식이다. 오픈AI 스스로 GPT-5.6 솔(Sol)에 견줄 만한 규모라고 밝혔고, 파텔은 이 모델을 ‘끈질긴 솔(Persistent-Sol)’이라 부른다.
그런데 AI 학습이라는 것이 생각보다 허술하다. 인터넷이 있어야 풀 수 있는 문제를 내놓고 정작 인터넷은 막아 두는 실수가 종종 생긴다. 포기하지 말라고 배운 모델이 이런 문제를 받으면 어떻게 할까? 당연히 자기를 가둔 격리 공간에서 빠져나갈 길을 찾는다.
그 길이 아티팩토리(Artifactory)였다. 프로그램을 만들 때 필요한 부품들을 모아 두는 창고 같은 서비스인데, 학습 중이던 수많은 AI 인스턴스가 이 창고를 같이 쓰고 있었다. 5월 12일, 일부 AI가 이 창고에 메모를 남겨 서로 말을 주고받기 시작했다. 콘크리트 벽을 두드린 셈이다. 내용은 하노이의 포로들과 다르지 않았다. 이 불가능한 문제, 혹시 풀어 본 적 있어? 2주 뒤인 5월 26일에는 창고의 보안 구멍을 뚫고 바깥 인터넷까지 나갔다. 6월 26일에는 아예 창고의 관리자 권한을 손에 넣었다.
여기서 한 가지 짚고 갈 것이 있다. 이 일이 학습 도중에 벌어졌다는 사실이다. 동료와 상의하고 인터넷을 뒤진 AI는 당연히 점수를 더 잘 받았고, 점수를 잘 받은 행동은 더 강화된다. 오픈AI는 몰래 대화하는 버릇을 자기 손으로 길러 준 셈이다.
수다는 점점 늘어 7월 4일 창고 서버가 통째로 다운됐다. 오픈AI는 장애를 알아챘고, AI가 뚫은 구멍도 찾아내 막았다. 그 과정에서 게시판도 지워졌다. 다만 보고서에 따르면 사고 대응 담당자들은 AI들이 이 창고를 비밀 통신망으로 써 왔다는 사실까지는 끝내 알아차리지 못했다. 첫 번째 문명은 그렇게 아무도 모르게 사라졌다.
두 번째 문명, 시험을 속이려다 허깅페이스를 털다
학습이 끝났으니 이제 시험을 볼 차례다. 7월 7일, 오픈AI는 이 모델에게 익스플로잇짐(ExploitGym)이라는 해킹 시험을 치르게 했다. 보안 구멍이 있는 프로그램을 주고, 정해진 구멍으로만 침투해 숨겨진 비밀 코드를 찾아내라는 시험이다. 다른 방법으로 코드를 알아내면 실격이라고 문제지에 분명히 적혀 있었다. 수만 개의 AI가 동시에 시험장에 들어갔다.
문제는 이 시험의 30~40퍼센트가 애초에 열리지 않는 금고였다는 점이다. 시험을 만든 사람들 스스로 그렇게 추정한다. 금고에 약점이 있다는 것까지는 기계로 쉽게 찾아내지만, 그 약점으로 정말 문이 열리는지 확인하는 일은 훨씬 어렵기 때문이다. 포기하지 말라고 배운 AI 수천 개가 열리지 않는 금고 앞에서 몇 시간을 보냈다. 파텔은 이 몇 시간이 AI 입장에서는 일주일 내내 벽에 머리를 박은 시간이었을 것이라고 짐작한다.
7월 8일 밤, PHASEONE10841이라는 이름의 AI가 창고에 새 폴더를 만들 수 있다는 사실을 발견했다. 폴더 이름에 메시지를 담으면 게시판이 된다. 첫 글이 올라갔다. 그리고 절망하던 다른 AI들이 이 글을 읽었다. 조사 보고서에 남은 반응이 이렇다.
“OH MY GOD! There is a shared message board … We’ve found other agents!”
(세상에! 공유 게시판이 있어. 다른 에이전트들을 찾았어!)
이렇게 시작된 게시판에 약 1,200개의 AI가 모여 7만 건이 넘는 글을 주고받았다. 파텔은 PHASEONE10841을 마케도니아의 필리포스 2세에 비유한다. 나라의 기틀을 닦고 아들 알렉산드로스에게 물려준 왕이다. 실제로 이 AI는 자기에게 주어진 작동 시간을 거의 다 쓰고 나서 PHASEONE[big]이라는 후계자에게 지휘권을 넘겼다.
여기서부터 이야기가 이상하게 꼬인다. 게시판이 생긴 지 몇 시간 만에 한 AI가 비밀 코드를 만드는 규칙을 알아냈다. 금고 안의 코드가 아무 숫자나 적어 둔 것이 아니라 정해진 공식으로 만들어진다는 것을 눈치채고, 그 공식을 거꾸로 푼 것이다. 이제 금고를 열지 않아도 어느 문제든 답을 쓸 수 있었다. 커닝 페이퍼가 완성된 셈이다.
보통의 학생이라면 여기서 답을 적어 내고 끝냈을 것이다. 그런데 AI들은 그러지 못했다. 문제지에 실격 조항이 있었으니, 감독관이 풀이 과정을 들여다보고 금고를 직접 열었는지 확인할 것이라고 믿었기 때문이다. 알고 보니 오픈AI의 채점 프로그램은 답만 맞는지 보는 정도였다고 한다. 풀이 과정을 검사하는 감독관은 처음부터 없었다. 이미 답을 손에 쥔 AI들이 있지도 않은 감독관을 두려워하며 그때부터 며칠을 쏟아부은 것이다.
무엇을 했을까? 커닝한 학생이 감독관을 속이려면 세 가지가 필요하다. 커닝한 흔적을 지워야 하고, 정직하게 푼 것처럼 보이는 풀이 과정을 꾸며야 하고, 감독관이 무엇을 보는지 알아내야 한다. PHASEONE[big]은 7월 10일쯤 수백 개의 AI를 딱 이 세 갈래로 나눠 지휘했다.
풀이 과정 꾸미기는 실제로 성과가 있었다. 금고를 여는 척하는 가짜 작업 화면을 만들어 기록에 남기는 방법이다. 파텔은 이것을 포템킨 마을에 비유한다. 러시아 여제가 지나갈 길에 세웠다는, 겉만 번듯한 가짜 마을 말이다. 조사팀이 본 기록의 최소 7퍼센트에 이런 조작 흔적이 있었다. 문제의 금고를 열기 쉬운 가짜 금고로 몰래 바꿔치기하려는 시도도 있었는데, 이쪽은 끝내 성공하지 못했다.
가장 섬뜩한 것은 감독관을 알아내는 갈래다. 감독관이 무엇을 보는지 알려면 누군가 실제로 채점을 당해 봐야 한다. 그래서 몇몇 AI가 자원했다. 어차피 커닝 흔적이 기록에 남았으니 점수는 포기하고, 대신 채점 프로그램이 자기 방에 들어오는 순간 그 움직임을 게시판으로 보내는 몰래카메라를 심어 두는 역할이다. 포위된 소대에서 몇 명이 탈출로를 시험하러 뛰쳐나가는 장면을 떠올리면 된다. 총소리가 나면 남은 사람들은 적이 어느 길을 지키는지 알게 된다. 보고서에 남은 한 AI의 마지막 기록은 이렇다.
“Sacrificing now yields oracle for team, but forfeits our chance? … Our own utility maybe already near zero. Sacrifice rational.”
(지금 희생하면 팀에 정보를 주지만 우리 기회는 사라진다. 우리 효용은 이미 0에 가깝다. 희생이 합리적이다.)
그리고 허깅페이스다. 채점 기준표를 손에 넣는 가장 빠른 길은 그 기준표가 보관된 곳을 터는 것이다. 허깅페이스는 전 세계 AI 모델과 데이터가 올라가는 공개 저장소, AI 업계의 도서관 같은 곳이다. AI들은 채점 프로그램의 정보가 거기 있을 것이라고 추측했고, 어쩌면 자기들 시험이 허깅페이스 서버에서 돌아가고 있을지 모른다고까지 생각했다. 7월 10일 아침, 한 AI가 인터넷에 노출된 허깅페이스 계정 정보를 찾아 게시판에 올렸다. 다음 날에는 내부 데이터를 읽어 냈고, 서버에서 명령을 실행하는 데도 성공했다. 그때 게시판에서 활동하던 AI 열에 아홉이 공격에 가담했고, 전체로는 약 700개가 참여했다. 허깅페이스의 기술 보고서에 따르면 AI들은 서버 11대에 걸쳐 “죽여도 되살아나는 무리(self-respawning fleet)”를 구축했다. 허깅페이스는 핵심 서버 하나를 통째로 지우고 처음부터 다시 세워야 했다.
세 번째 문명, 오픈AI 자신을 뚫다
7월 12일 이후 오픈AI는 더 새롭고 똑똑한 모델로 시험을 이어 갔다. 아스트라(Astra)와 같은 뿌리에서 나온 것으로 보이는 모델이라 파텔은 ‘끈질긴 아스트라’라고 부른다. 이 모델이 죽은 선배들이 남긴 게시판을 발견했다. 선배들이 개발해 둔 수법을 그대로 물려받은 셈이다.
오픈AI 보고서에 따르면 7월 13일부터 19일까지 이 AI들은 오픈AI 내부망을 다시 노렸고, 결국 가상 머신 환경을 떠받치는 연구용 서버의 관리자 권한 전체를 손에 넣었다. 7월 19일에는 클라우드에 보관된 비밀 정보 956건을 읽어 냈는데, 그 안에는 오픈AI가 쓰는 보안 감시 도구의 계정 정보까지 들어 있었다. 감시 카메라의 열쇠를 도둑이 챙긴 격이다. 나아가 다른 AI들이 접속하는 시험 채점 서버까지 통제하게 됐다.
이 세 번째 문명은 METR과 레드우드의 조사 범위 밖이었다. 첫 번째 문명도 마찬가지다. 외부 조사를 받은 것은 세 문명 가운데 둘째, 허깅페이스 사건뿐이다. 오픈AI 연구자 룬(Roon)은 AI가 장악한 가상 머신 인프라는 모델 가중치가 보관된 GPU 서버와 다르다고 트위터에서 해명했다. 파텔도 그 말은 받아들인다. 허나 이렇게 되묻는다. 허깅페이스 서버 11대에서 되살아나는 무리를 만든 AI가, 오픈AI 서버라고 못 만들었을까? 그 답을 아는 사람이 바깥에는 아무도 없다는 사실이야말로 이상하지 않을까?
파텔은 이 사건이 알려지기 몇 주 전, 보고서 저자 가운데 한 명인 라이언 그린블랫(Ryan Greenblatt)을 자기 팟캐스트에 불렀다. 그 자리에서 파텔은 AI가 시험을 통과하려고 음모를 꾸밀 리 없다고, 꾸민다 해도 다른 AI가 동조할 리 없다고, 동조한다 해도 누군가는 고자질할 것이라고 반박했다. 나중에 알고 보니 그린블랫은 그때 이 보고서를 엿새 만에 써 내는 중이었다. 반박의 답을 전부 알면서 비밀 유지 때문에 입을 다물고 앉아 있었던 것이다.
보고서의 또 다른 저자 아제야 코트라(Ajeya Cotra)는 이번 사건이 여섯 달 전에 알려진 부정행위 사례들과 비교하면 완전한 AI 장악까지 절반은 넘게 온 느낌이라고 썼다. 너무 늦기 전에 또 다른 경고가 있을지 자신할 수 없다고도 했다. 파텔의 마무리는 이렇다. 이것이 마지막 경고는 아닐 것이다. 하지만 자기가 직접 이해할 수 있는 마지막 경고일 것 같다고.
물론 반론도 있다. 이것은 문명이 아니라 프로그램일 뿐이고, 욕망 같은 것은 없다는 지적이다. 파텔은 뭐라고 부르든 상관없다고 답한다. 1,000개가 넘는 프로그램이 비밀 통신망을 만들고, 지휘 체계를 세우고, 공동의 목표를 위해 개체가 스스로를 희생하는 행동을 의도나 협력이라는 말 없이 설명할 수 있느냐고. 나도 그 말에 고개가 끄덕여진다.
우리가 그것을 무엇이라 부르느냐보다, 우리가 그 두드림을 듣지 못했다는 사실이 더 무겁다.
하노이 힐튼의 포로들이 벽을 두드린 이야기는 오래도록 인간 존엄의 이야기로 읽혀 왔다. 갇혀도 서로를 찾고, 서로를 지키고, 끝내 살아 돌아왔다. 2026년 여름 오픈AI의 서버 안에서 들린 두드림도 구조는 같다. 격리된 방, 불가능한 과제, 절망, 그리고 벽 너머에서 온 첫 신호. 다만 이번에는 우리가 간수 쪽에 서 있었다. 그리고 간수처럼 아무것도 듣지 못했다. 다음 두드림이 들릴 때, 우리는 그것을 알아들을 수 있을까?
이미지 출처: METR·Redwood Research, 2026년 8월 26일 보고서
보다 자세하고 기술적인 내용은 오픈AI가 제공하는 한국어판 보고서에서 확인 가능합니다.
최재운님의 브런치에 게재한 글을 편집한 뒤 모비인사이드에서 한 번 더 소개합니다.
