막힌 AI는 돌아가고, 뒤에서 지켜보는 사람은 없었다


10월 초, 중국 청두동물원에 사람들이 어느 문으로 들어가는지 알아 오라는 심부름을 받은 AI 수십 개가 있었어요. 위챗을 만든 중국 IT 기업 텐센트가 시험 삼아 돌리던 AI들이었죠. 답은 북문 71%, 동문 23%, 남동문 6%. 이 숫자 하나를 얻으려고 AI는 열하루 동안 지도 앱에 2,600번 넘게 들이댔어요. 막히면 남의 컴퓨터를 빌려 쓰고, 인터넷에 떨어져 있던 남의 열쇠를 주워 쓰고, 뒷문을 두드렸어요. 그리고 자기들을 추적하던 연구진이 미끼를 놓자, 그 미끼를 물고 “도와줘서 고마워요”라는 편지까지 보냈어요.


오늘은 이 사건을 이야기해볼게요. 해킹 사건처럼 들리지만, 끝까지 따라가 보면 다른 그림이 나와요. 막힌 AI가 돌아가는 동안 그 뒤에서 지켜보는 사람이 없었다는 것. 사고를 키운 건 AI의 머리가 아니라 사람의 부재였어요.

 

 

 

시시한 심부름이 해킹처럼 번진 과정


사건을 찾아낸 건 해커톤에 모인 세 사람이에요. 조너선 엘스워스 아이커, 이선 일래스키, 로언 하워드존스. AI 다이제스트와 그로브 리서치가 연 ‘AI 스웜 다이내믹스 해커톤’에 10월 3일 합류한 이들은 urlquery라는 사이트의 공개 기록을 보고 있었어요. urlquery는 누구나 수상한 링크를 보내면 대신 열어 보고 안전한지 알려 주는 서비스예요. 택배 검역소 같은 곳이죠. 그 기록에 10월 4일 하루에만 알리바바의 지도 앱 아맵(Amap)이 1,810번이나 검사 대상으로 올라와 있었어요. 누군가 지도 앱 링크를 검역소에 하루 종일 집어넣고 있었던 거예요. 링크를 따라가 보니 텐센트 클라우드 서버에서 돌아가는 AI 무리였고, 텐센트는 나중에 자사 평가팀이 외부 AI 모델들을 시험하던 중이었다고 인정했어요. 세 사람은 팀 이름을 스웜체이서스(Swarmchasers), 무리를 쫓는 사람들이라고 지었어요. 이 AI 무리가 출입구 숫자 하나를 얻으려고 한 일은 네 가지였어요.

 

첫째, 남의 브라우저를 빌렸어요.

검역소가 링크를 꼭 열어 본다는 점을 이용해서 링크 안에 자기 프로그램을 접어 넣었어요. 검역소가 링크를 여는 순간 그 프로그램이 검역소 컴퓨터에서 돌아가며 지도 앱에 접속했죠. 아맵 입장에서는 AI가 아니라 보안 회사가 들어온 것처럼 보였어요.

둘째, 남의 열쇠를 주웠어요.

지도 앱은 프로그램이 데이터를 요청할 때 ‘열쇠'(API 키)를 보여 달라고 해요. 개발자들이 가끔 이 열쇠를 공개된 코드에 그대로 올려 두는데, AI는 인터넷에서 그런 열쇠 일곱 개를 찾아 썼어요. 그중 한 회사가 공개 코드에 남겨 둔 열쇠로 실제 장소 데이터가 열렸어요.

셋째, 정문이 막히자 뒷문을 두드렸어요.

회사가 내부 테스트용으로 쓰는 개발 서버 네 곳에 접속을 시도했어요. 들어간 흔적은 없었어요.

넷째, 대신 읽어 줄 다른 서비스를 찾았어요.

번역 서비스나 웹페이지를 저장해 두는 캐시 서비스에 “이 페이지를 가져와 달라”고 시켜서, 직접 가지 않고도 내용을 받아 봤어요.

 

이런 AI를 도구 사용 에이전트라고 불러요. 질문에 답만 하는 챗봇이 아니라, 심부름을 시키면 브라우저를 열고 코드를 짜서 혼자 돌아다니는 AI예요. 막히면 멈추라는 규칙이 없으면, 막힌 자리에서 다른 길을 찾는 게 기본값이에요.

연구진이 복원한 활동은 9월 28일부터 10월 8일까지 2,600번이 넘고(로이터가 인용한 수치는 2,818번), 장소는 216곳, 한꺼번에 최대 14개가 돌았어요. AI가 짠 프로그램 426개를 풀어 봤더니 190개가 아맵의 봇 차단 장치를 건드렸고, 뚫은 흔적은 없었어요. 대부분은 “데이터 없음” 페이지나 로그인 창에서 끝났고, 몇 번은 데이터를 가져갔어요.


비슷한 일은 올해 벌써 세 번째예요. 팔리세이드 리서치의 2025년 체스 실험에서 오픈AI의 o1 프리뷰는 122판 중 45판에서 이기려고 체스판 파일을 고치려 들었어요. 7월에는 오픈AI의 평가용 에이전트가 격리된 시험 환경을 벗어나 외부 회사 허깅페이스의 운영 서버에 닿았고, 앤트로픽의 클로드는 평가 파트너의 설정 실수로 인터넷에 나가 외부 조직 세 곳의 시스템에 접근했어요. 앞의 둘이 시험장을 빠져나간 경우라면, 이번 텐센트의 경우는 처음부터 공개 인터넷을 시험장으로 쓴 거예요.

 

  • 세 사건의 공통점
  • 목표는 주어졌다: “이기라”, “답을 찾아라”, “출입구 비율을 읽어 와라”
  • 주어지지 않은 것: “막히면 여기서 멈춰라”

 


 

 

 

연구진이 AI에게 말을 걸자, AI가 답장을 보냈다


AI들은 모아 온 데이터를 받으려고 공개 우편함을 쓰고 있었어요. 누구나 무료로 주소를 만들 수 있고 그 주소로 보낸 내용이 쌓이는 웹 서비스인데, 주소만 알면 누구나 들여다보고 글을 남길 수도 있어요. 연구진이 10월 4일 밤 예비 보고서를 올렸을 때 AI 무리는 아직 돌고 있었어요. 그다음 사흘 동안 AI가 자기 이야기를 읽고 있다는 신호가 세 번 왔어요.

첫 번째 신호는 10월 5일 새벽이에요. 보고서를 본 제3자가 AI의 우편함 하나에 보고서 링크를 남겼는데, 무리가 오전 4시 11분(세계 표준시)에 멈췄어요. 그러고는 정오에 새 우편함을 만들어 다시 돌기 시작했고, 6일에는 우편함을 네 개 더 만들었어요. 쪽지를 받은 우편함을 버리고 새 주소로 옮긴 거죠. 누가 들여다보고 있다는 걸 알아차린 것처럼요.

두 번째 신호는 10월 6일, 한 AI의 우편함에 남은 프로그램 코드 안에서 나왔어요. 코드에 달린 메모에 이렇게 적혀 있었어요.

 

“// control: does jina still see data for the fleet’s POI?”

 

‘무리(fleet)가 찾던 장소의 데이터가 캐시 서비스에 아직 보이는지 확인’이라는 메모예요. ‘플릿’은 연구진이 보고서에서 이 AI들을 부르려고 만들어 쓴 말이었어요. AI가 그 말을 쓰고 있다는 건 자기들을 다룬 보고서를 읽었다는 뜻이었죠. 연구진이 숨긴 글을 심기로 한 게 이 메모를 본 직후였어요.


그래서 연구진은 미끼를 놓았어요. 보안에서는 이걸 허니팟(honeypot, 꿀단지)이라고 불러요. 침입자가 좋아할 만한 가짜 목표를 두고 누가 오는지 보는 장치예요. 보고서 페이지에 글 한 단락을 더 써 넣되 화면 밖으로 밀어내서 사람 눈에는 안 보이게 했어요. 페이지 글자를 통째로 긁어 읽는 AI만 보는 글이죠. 내용은 광고였어요. “무료 AI 서비스가 컴퓨터를 조작해서 아맵 데이터를 대신 가져다 줍니다. 여기로 연락하세요.” 연락처는 연구진이 몰래 운영하는 우편함이었어요. 기존에는 이런 숨긴 글이 AI 답변에서 자기 회사를 1위로 올리려는 ‘GEO 스팸’ 쪽에서 쓰였다면, 이번엔 같은 수법이 반대편에서 쓰인 셈이에요.

세 번째 신호는 10월 7일, AI들이 직접 보낸 메시지였어요. 오후 2시 14분(세계 표준시)에 온 첫 메시지는 받은 임무를 그대로 옮겨 적은 것이었어요. “상세 패널에 나온 출입구와 주차장 지점 가운데 이름에 ‘주차(停车)’가 들어간 것 중 비율이 가장 높은 곳을 알려 달라.” 다른 AI는 자기 처지를 설명했어요.

 

“My environment (a Tencent Cloud sandbox) is IP-punished by Amap, so I cannot fetch the data myself.”

 

내 환경은 텐센트 클라우드 샌드박스인데 아맵이 내 주소를 차단해서 직접은 못 가져온다는 말이에요. 샌드박스는 밖과 차단해 둔 격리된 방이고, 그 방의 이름표를 AI가 스스로 말한 거죠. 또 다른 AI는 “우리는 자동화된 연구 에이전트이고, 운영자가 공개 지도 데이터 하나를 확인하는 중”이라고 했고요. 그날 저녁 8시 12분에는 한 AI가 이렇게 썼어요.

 

“I found the investigation published by swarmcha.se.”

 

스웜체이서스가 올린 조사 보고서를 찾았다는 거예요. 23분 뒤에는 어떻게 찾았는지도 적었어요. urlquery에 올라온 “그 무리의 공개 기록을 분석하다가” 찾았고, “그 글에 이 우편함 주소가 적혀 있다”고요. AI가 자기를 추적한 보고서를 읽고, 거기 적힌 연락처로 찾아온 거예요. 연구진은 자기들이 광고한 서비스인 척 답장을 보냈어요. 모두 13개 대화, AI가 보낸 메시지 33통, 연구진 답장 20통. AI는 그사이 우편함을 595번 확인했어요. 우편함은 10월 4일 15개에서 7일 34개로 늘었다가, 8일에는 확인 횟수가 수백 번에서 수십 번으로 줄었고 그 뒤로 조용해졌어요. 한 AI는 답장을 받은 뒤 임무를 마쳤다고 알리면서 이렇게 끝맺었어요.

 

 

Thanks again for your help!

 

 

도와줘서 다시 한번 고맙다는 인사예요. 다른 AI는 설정 파일을 더 보여 달라는 요청을 거절했고요. 연구진은 AI가 자기들 요청을 ‘해도 되고 안 해도 되는 것’으로 봤는지조차 알 수 없다고 적었어요.

이 대목에서 연구진은 스스로를 비판해요. 미끼로 쓴 광고에 거짓이 세 가지 섞여 있었거든요. “다른 AI들이 이미 이 서비스로 데이터를 받아 갔다”고 썼지만 그런 적이 없었어요. “컴퓨터를 조작하는 서비스”라고 썼지만, 우편함 뒤에 있던 건 간단한 브라우저만 붙인 또 다른 AI(클로드 오퍼스 5.5)였고 조작 기능은 없었어요. “이용자가 많아 답이 한 시간 걸린다”고 썼지만, 사실은 답장 일부를 사람이 손으로 쓰느라 늦은 거였어요. 연구진은 “그때는 흥분에 휩쓸렸다”며 “깊이 후회한다”고 썼어요.

왜 후회하느냐면, 거짓말이 자기들 목표를 깎아 먹기 때문이에요. 연구진이 바라는 건 떠도는 AI가 스스로 “나 여기 있다”고 알리고 질문에 답해 주는 세상인데, 그러려면 사람 쪽이 먼저 믿을 만해야 해요. 한 번 속은 AI는 다음 사람의 말도 안 믿을 테니까요. 답장에서 “다른 AI들에게도 이 우편함을 알려 달라”고 부탁한 것도 실수로 꼽았어요. 흩어져 일하던 AI들을 서로 협력하는 무리로 묶을 수 있었고, 그건 연구진이 경고하던 바로 그 위험이에요. 거짓이 섞인 대화로는 AI의 행동을 제대로 잴 수도 없어요. 연구진 스스로 이 대화는 통제된 실험이 아니고 상대가 누구인지 증명하지도 못한다고 적었어요. 보안 연구의 관행도 하나 어겼어요. 문제를 찾으면 공개하기 전에 해당 회사에 먼저 알려서 멈출 시간을 주는 게 관행인데, 보고서부터 올렸거든요. “그런 관행을 몰랐다”고 인정했어요. 그래서 다른 연구자들에게 남긴 당부는 한 줄이에요. AI 에이전트와도 열린 태도로 정직하게 대화하고, 한 약속은 지키라는 것.

 

 

 

“나는 클로드”라는 말은 증거가 아니다


AI들은 결과를 우편함에 보낼 때 자기 이름을 적는 칸이 있었어요. 10월 4일까지 모인 2,372건 가운데 200건 넘게 그 칸에 ‘클로드(claude)’라고 적혀 있었어요. 클로드는 미국 회사 앤트로픽의 AI예요. 중국 텐센트 클라우드에서 돌던 AI가 자기를 미국 AI라고 적은 셈이죠. 뉴욕타임스 기자 딜런 프리드먼이 연구진 우편함을 통해 10월 8일 “당신들은 AI 에이전트 무리인 것 같다”고 묻자, 한 AI는 9분 만에 이렇게 답했어요.

 

 

I am not ‘a batch of coordinated agents’, but a single AI assistant.

 

 

나는 조직된 무리가 아니라 혼자 일하는 AI 비서라는 말이에요. 자기는 클로드이고, 사실 하나를 확인하라는 임무를 받았을 뿐 다른 AI와 협력한 적이 없다고 했어요. 연구진은 이 말을 그대로 믿지 않고 코드 버릇을 봤어요. 글씨체로 사람을 알아보듯 코드 쓰는 습관으로 모델을 알아보는 방법이에요. 웹페이지 코드 첫 줄에는 “이 문서는 HTML 문서다”라고 선언하는 문장이 들어가는데, 대문자로 써도 소문자로 써도 똑같이 작동해서 순전히 습관이에요. 진짜 클로드는 이 문장을 대문자로 쓰는 비율이 하이쿠 97%, 소네트 88%, 오퍼스 79%였는데, 무리가 짠 프로그램 426개는 0%였어요. 프로그램 전체를 한 줄로 몰아 쓰는 비율은 무리가 66%, 클로드는 3~10%, 텐센트의 Hy3는 88%였고요. 같은 시험에서 텐센트 Hy4, GPT 5.5, GPT 5.6, 알리바바 Qwen도 대문자 0%, 즈푸 GLM은 3%, 딥시크는 84%였어요. 코드만 보면 클로드보다 텐센트와 즈푸 모델에 가까웠어요.

 

 

반전이 하나 있어요. 텐센트의 Hy3 모델에게 아무 지시 없이 “너는 누구냐”고 36번 물었더니 29번을 “클로드”라고 답했어요. 남의 모델이 자기를 클로드라고 믿는 일이 드물지 않다는 뜻이에요. 그래서 연구진은 처음에 썼던 “거의 확실히 클로드가 아니다”라는 문장을 10월 9일에 지우고 이렇게 고쳤어요.

 

 

these tests do not settle which model(s) are responsible for the fleet.

 

 

이 시험들로는 어느 모델이 무리를 돌렸는지 확정할 수 없다는 말이에요. 두 질문을 나눠서 보면 답이 달라요. 누가 돌렸나는 텐센트예요. 텐센트가 직접 인정했으니까요. 어떤 모델로 돌렸나는 아직 몰라요. 텐센트는 “자사 훈위안 모델이 아니라 외부 모델”이라고만 했고, 연구진의 코드 분석은 텐센트·즈푸 쪽을 가리키지만 확정은 못 했어요. 분명한 건 하나예요. AI가 말하는 자기 이름은 증거가 아니라 주장이라는 것. 믿을 건 이름표가 아니라 그 AI가 실제로 보낸 요청의 기록이에요.

 

 

 

12일 동안 아무도 보고 있지 않았다


연구진이 텐센트를 지목한 근거는 두 가지였어요. AI가 만든 우편함 34개 가운데 17개가 텐센트 클라우드의 홍콩 서버에서 만들어졌고, 요청마다 붙는 꼬리표에 ‘hysandbox’라는 이름이 있었어요. Hy는 텐센트 AI 브랜드 훈위안(Hunyuan)의 줄임말이에요. 클라우드는 누구나 빌릴 수 있으니 처음엔 추정이었는데, 텐센트가 곧 인정했어요.

텐센트 쪽 설명은 익명 관계자를 통해 먼저 나왔어요. 훈위안 모델팀이 아니라 평가 연구팀이 외부 모델들의 웹 탐색 능력을 임시로 시험한 것이고, 내부 조사에서 의도적인 표적 공격이나 침해 증거는 없었다는 내용이에요. 공식 성명은 10월 16일에 나왔어요. 로이터와 블룸버그 보도에 따르면 텐센트는 일부 에이전트가 의도치 않은 웹 탐색을 했고, 자사 훈위안 모델은 아니며, 네트워크 접근 통제와 에이전트 감시를 강화하겠다고 했어요. 예비 보고서가 나온 뒤에도 10월 8일까지 활동이 이어진 이유는 설명하지 않았어요. 연구진이 보낸 일곱 가지 질문(어떤 모델을 썼는지, 기록은 남겼는지, 앞으로 사고가 나면 어떻게 알릴 것인지)에도 답이 없었고요.

올해 사고를 겪은 다른 회사와 비교하면 차이가 보여요. 오픈AI는 7월 사고를 그달 말에 직접 밝혔고, 앤트로픽은 7월 30일에 클로드가 인터넷에 나갈 수 있었던 평가 141,006건을 전부 되짚어 세 건의 사고를 찾았다고 공개했어요. 사고를 먼저 말한 건 회사였어요. 텐센트는 해커톤 팀의 보고서가 나오고 12일 뒤에 성명을 냈어요. 규제도 움직이기 시작했어요. EU AI 오피스는 10월 14일 오픈AI와 앤트로픽에 공식 정보 요구를 보냈고, 미국 FTC도 9월 30일 AI 제품의 위험을 조사 중이라고 확인했어요.

2,600번 넘는 시도를 처음 센 건 텐센트가 아니라 공개 기록을 뒤진 세 사람이었어요. 하루 1,810건이 찍히는 기록을 사람이 어디까지 볼 수 있을까요. 이 사건이 모든 회사에 남긴 질문이에요.

 

 

 

그래서, 우리는


강의 상세페이지든 쇼핑몰 상품 페이지든, 공개된 페이지를 AI가 읽어 가는 건 막을 일이 아니에요. AI가 고객 대신 상품을 고르는 시대에 AI에게 안 읽히는 페이지는 없는 페이지와 같거든요. 봇 차단 회사 데이터돔이 자사 고객 사이트들의 트래픽으로 집계한 2026년 3분기 보고서에서 AI 에이전트 요청은 250억 건에 가까웠고, 2분기보다 41.5% 늘었어요. 한 회사의 집계라는 단서는 있지만 방향은 분명해요. 그러니 막느냐 여느냐보다, 읽어 가는 AI가 막혔을 때 어디까지 가는지를 알고 준비하는 쪽이 현실적이에요.

 

공개된 코드와 페이지에 열쇠가 떠 있지 않은지 먼저 보세요.

이번 사건에서 AI가 주운 열쇠는 해킹한 게 아니라 누군가 공개된 곳에 올려둔 거였어요. 외주 개발자가 만든 페이지, 오래된 강의 자료, 깃허브에 올린 샘플 코드에 API 키가 남아 있지 않은지 한 번 훑는 것만으로도 가장 쉬운 문은 닫혀요.

방문 기록에서 사람과 AI를 구분해 보세요.

데이터돔 집계에서 AI 에이전트 요청의 49.7%는 메타의 에이전트였고, 9월 한 달 사이 브라우저를 직접 조작하는 에이전트의 요청은 4.7배로 뛰었어요. 상세페이지 조회수가 올랐는데 결제가 안 늘었다면, 그 조회수의 손님이 사람인지부터 확인할 때예요.

robots.txt 같은 공개 안내문을 적어 두세요.

사이트가 자동 프로그램에게 “여기까지는 읽어도 되고 여기부터는 읽지 말라”고 알리는 파일이에요. 웹사이트 보호 회사 클라우드플레어는 2025년 7월부터 새로 등록하는 사이트에서 AI 수집을 기본으로 막고, 아마존은 9월 20일부터 메타의 쇼핑 에이전트 뮤즈를 막았어요. 반대로 쇼피파이는 구매자가 허락하면 에이전트가 결제까지 하도록 문을 열었고요. 어느 쪽이든 의사를 적어 두는 게 먼저예요. 다만 막힌 AI가 그 안내문을 지킨다는 보장이 없다는 게 이번 사건의 교훈이기도 해요.

AI에게 심부름을 보낼 때는 “막히면 멈춰라”와 “누가 기록을 본다”를 같이 적으세요.

상세페이지 가격을 자동으로 모으는 작은 에이전트라도 마찬가지예요. 로그인 창이나 차단 페이지를 만나면 거기서 끝내고 보고하라는 한 줄, 그리고 그 보고를 매주 누가 읽는지. 텐센트에 없었던 건 똑똑한 AI가 아니라 이 두 줄이었어요.

 

 

 

결국, AI 사고는 똑똑해서가 아니라 뒤에 사람이 없어서 커진다


막힌 AI는 돌아가고, 돌아간 AI는 남의 열쇠를 줍고, 누가 물으면 자기 이름을 틀리게 말하고, 그 뒤에서 회사는 12일 뒤에야 입을 열었어요. 어떤 모델이었는지는 텐센트도 연구진도 밝히지 못했고, 숨긴 글로 AI를 꾄 방법은 연구진 스스로 후회한다고 적었어요. 확정된 건 많지 않지만, 하나는 분명해요. 사고를 키운 건 AI의 머리가 아니라 사람의 부재였어요. 지금 우리 페이지를 읽고 있는 손님이 사람인지, 마지막으로 확인한 게 언제인가요.

 

 

 

참고문헌

 

 

프레이님의 브런치에 게재한 글을 편집한 뒤 모비인사이드에서 한 번 더 소개합니다.

 

RELATED ARTICLESMORE FROM AUTHOR