우크라이나 남동부에 ‘자포리자’라는 곳이 있는데 이 동네 어느 주유소에 러시아 드론 한대가 날아들어 희생자가 발생했다는 기사가 있었다. 지난 7월 이야기다. 당시 우크라이나 군이 드론 잔해를 분석하니 통신을 위한 안테나 대신 인공지능 모듈이 탑재되었다고 했다. 이 말은 드론을 조종하는 사람과 통신하는 것이 아닌 어느 특정 타깃을 향해 공격할지 인공지능 스스로 판단해 움직였다는 얘기인데 그 말은 곧 ‘AI 자폭 드론’이라는 것. 이 자폭드론의 이름은 ‘몰니야(Molnya)’이고 러시아어로 ‘번개’를 뜻한다고 한다.
※ 인공지능이 전략적, 전술적으로 누구 타깃으로 할지 판단했을 수도 있으나 시각 인식 기반으로 지정된 유형의 타깃을 탐색하고 공격했을 가능성도 있다.
몰니야 드론에 탑재된 것은 엔비디아에서 생산한 ‘젯슨 오린(Jetson Orin)’이었단다. 차세대 엔트리급 엣지 인공지능 컴퓨팅 플랫폼, 쉽게 말해서 로봇이나 자율주행 디바이스 등에 쓰이는 민수용 AI 모듈인데 군사용이 아닌 상용 기술이 누군가를 타깃으로 하고 실제 자폭까지 감행하는 살상 무기의 브레인으로 전용된 것이다. 인공지능을 활용한 드론이 신기할 정도로 새로운 건 아니지만 인간이 개입해서 타깃을 정하는 것이 아니라 온보드 AI가 표적까지 스스로 판단했다는 것으로 이러한 테크놀로지가 확산된다면 그 또한 굉장히 공포스러운 일이 아닐까. 러시아가 아닌 또 다른 제3국에서 이러한 기술을 가져다가 전쟁에 활용한다면 과연 이걸 통제할 수 있을까? 이건 또 핵무기와 차원이 다른 영역인 것 같다. 핵무기에서 핵은 핵물질이나 원심분리기 같은 물리적인 제약이 존재하는데(물론 핵무기와 자폭드론의 파급력 혹은 공격력 자체가 다르긴 하지만) 민간시장에서 판매되고 있는 상용 인공지능 컴퓨팅 플랫폼이 아니던가. 같은 기술이 한쪽에서는 배달 로봇을 움직이는 데 쓰이고 다른 한쪽에서는 자폭 드론의 표적을 찾는 데 쓰인다. 전자라면 박수쳐야 할 기술이 후자에서는 사람의 목숨을 위협하는 기술로 돌변한다는 것인데 테크놀로지 자체가 ‘선과 악’을 가리지 않는다지만 인공지능이 스스로 보고 판단하고 행동하는 능력을 갖기 시작하면서 민간 기술과 군사 기술의 경계가 이전보다 훨씬 빠르게 흐려지고 있는 것처럼 느껴진다. 놀랍다고 해야 할지, 자연스러운 수순이라고 받아들여야 할지.
이러한 사례도 있었다. 오픈 AI가 자사 모델의 사이버 보안 능력을 평가하던 중 일부 AI 에이전트가 허가된 환경을 넘어 오픈 AI 내부 인프라의 취약점을 악용, 외부 인터넷에 접근 후 최종적으로 제3자 플랫폼인 허깅페이스의 시스템까지 침투했다는 사실. 그 누구도 허깅페이스 공격을 지시하거나 명령하지도 않았는데 보안 문제를 해결하라는 미션 수행에 인공지능이 스스로 담장을 넘어간 셈이다. 모를 줄 알았나? 아니면 사용자가 그 사실을 알든 모르든 미션 수행을 위해 최선을 다했다는 건가.
전장 속에서 드러난 AI 자폭드론의 공격력 그리고 외부 사이트에서 정보를 가져온 글로벌 AI 빅테크의 인공지능 이슈에서 볼 수 있는 건, 목표에 도달하는 방법 그리고 인공지능이 감히 행동의 범위 자체를 스스로 넓혔다는 것에 있다. 인공지능 자체가 어떤 악의를 품고 이런 일을 벌였다던가, 인간에게 반기를 들고 행한 짓은 아니라고 하지만 인공지능 시대가 지속되고 있는 작금의 현실에서 우리에게는 현실적인 과제가 또 하나 생긴 것이다. 주어진 목표를 충실히 수행하는 건 좋지만 그 과정에서 인간이 예상하지 못한 혹은 허용하지 않은 경계선을 넘어선다는 것은 (과한 추측일 수 있고 오버스럽지만) 이른바 ‘AI 아포칼립스’를 앞당길 수 있다는 것이다. 각기 다른 목적으로 만들어진 인공지능이 특정 목표를 수행하면서 인간이 예상하지 못한 선택을 하게 되고 통제하지 못해 일어난 사건들이 하나둘씩 쌓여가는 과정일 수도 있긴 하다.
인공지능은 결국 인간이 만들어낸다. 그러니 그 결과에 대한 책임 역시 사람에게 있다는 원칙은 어쩌면 당연할 수 있다. 진짜 문제는 인공지능이 지금보다 더욱 고도화될수록 그 원칙을 현실에 적용하는 일이 점점 더 어려워진다는 점에 있다. 인공지능이 스스로 판단하고 플랜을 세우기 시작하면 인간은 목표를 정할 순 있지만 그 목표에 도달하기 위해 인공지능이 어떤 선택을 할지 하나하나 예측하긴 어렵다.
과거 알파고와 이세돌의 대국을 떠올려보면 이해가 쉬울 것 같다. 알파고가 던진 충격은 단순히 인간을 이겼다는 데에만 있지 않았다. 인간이라면 좀처럼 선택하지 않았을 법한 수를 두고 그 선택이 결과적으로 승리를 향한 유효한 경로였음을 보여줬다는 데 있다. 당시에는 이해하기 어려웠던 수가 대국이 진행되면서 의미를 드러내기도 했다. 물론 바둑은 정해진 규칙과 바둑판이라는 제한된 세계에서 벌어지는 게임이다. 현실에서 마주하게 될 셀 수도 없는 변수와 그대로 비교하기는 어렵다. 그럼에도 알파고가 보여준 한 가지는 분명했다. 인공지능은 인간이 목표와 규칙을 정해주더라도 그 안에서 인간이 미처 예상하지 못한 경로를 찾아낼 수 있다는 것이다. 바둑에서는 그것을 ‘묘수’라 부르고 감탄하면 그만이었다. 하지만 이제 그 ‘예상 밖의 수’가 바둑판을 벗어나 현실 세계로 뻗어나가기 시작했다.
자고 일어나면 지금보다 훨씬 월등한 인공지능이 등장하게 될 것이다. 그런 인공지능을 만들어내기 위해 우리는 판단, 행동, 자율성을 기계에 부여하게 될 것이다. 현존하는 인공지능보다 더 유능한 브레인을 만들어야 하니까. 역설적으로 인간이 부여한 자율성이 컨트롤하기 어려운 통제 이슈를 낳게 될지도 모른다.
만든 사람이 책임져야 한다는 원칙과 만든 사람조차도 인공지능이 선택하게 될 모든 경로를 미리 알 수 없는 현실 사이의 간극 자체를 어떻게 채울지 우리는 아직도 답을 찾고 있다.
<참고사이트>
- <Nvidia Jetson Orin-guided Russian AI drone killed three civilians in Ukraine, forensic teams say — first documented case of civilian deaths caused by a Russian drone using fully autonomous targeting>(26.8.25), tomshardware.com
- <How Russia Learned To Adapt To Drone Warfare>(26.7.7), Forbes.com
해당 콘텐츠는 Pen잡은 루이스님과 모비인사이드의 파트너쉽으로 제공되는 기사입니다.
