솔직히 말하면, 하루가 멀다 하고 AI를 사용한다. 이젠 조금만 궁금해도 AI를 찾는다. 포털 사이트에서 했던 검색이라는 행위 자체를 이제는 AI 플랫폼에서 해결한다. 세미나를 다녀온 후 리포트를 쓰는데 이것저것 복잡하게 나열한 것도 보기 좋게 정리까지 해주니까 더할 나위가 없다. 얼마 전에는 해외에 있는 파트너와 화상으로 이야기를 나눈 후 주거니 받거니 했던 내용도 어떤 뉘앙스였는지 무엇이 주제였고 핵심은 뭔지 짚어주기도 했었다. 근데 그걸 전부 믿을 수 있을까? 때로 내가 이미 알고 있는 사실을 모르는 척 물어보기도 한다. 일종의 테스트 같은 것이다. 과연 이 녀석이 제대로 알고 있는지, 또 얼마나 그럴듯하게 설명하는지 궁금해서다.


아는 사람은 알겠지만 AI는 가끔 거짓말도 한다. 물론 AI가 사람처럼 어떤 의도를 가지고 거짓말을 한다는 뜻은 아니다. 이 과정에서 가장 커다란 문제는 틀린 말을 하는데 굉장히 당당하고 뻔뻔하다는 데 있다. 모르는 것은 그저 모른다고 하면 좋겠지만 때로는 아는 것보다도 더 디테일하게 설명하는 경우도 있다. 사실과 추측을 적당하게 버무리고 그 위에 논리라는 MSG까지 잔뜩 뿌려놓으니 완성된 답변 자체가 굉장히 근사해 보일 지경이다. 당연하지만, 문장도 매끄럽고 구성도 훌륭하다. 번호까지 달아가면서 차근차근 조리 있게 설명하는데 읽다 보면 빠져든다.

 

‘오, 그럴듯한데? 아주 좋은 답변이야.’

 

문제는 그다음이다. 내가 이미 알고 있는 사실과 대조해 보면 어딘가 이상하다. 분명히 존재하지 않는 사례를 들거나 실제와 다른 내용을 마치 검증된 사실처럼 이야기한다. 잘못된 정보에 근거해 나름의 분석까지 덧붙인다. 이쯤 되면 ‘엄지 척’ 했던 감탄의 방향이 ‘삿대질’로 완전히 뒤바뀐다.

 

‘웃기고 있네. 이 거짓말쟁이야’

 

참 신기한 일이다. 사람이라면 저렇게 자신 있게 틀린 말을 하는 것도 쉽지 않을 텐데(물론 그런 사람도 있겠지만) AI는 별다른 망설임조차 없다. 틀린 답변에도 군더더기가 없고 잘못된 설명에도 자신감이 넘친다. 아는 척하는 능력만 놓고 보면 이미 인간을 뛰어넘은 것 같기도 하다. 그렇다고 AI와 언쟁을 할 이유는 없다. 아닌 건 아니라고 확인까지 해가면서 수정하라고 지시한다. 비교적 점잖게 말이다.


“그건 사실과 다른 것 같은데? 다시 확인해 봐.” “맞습니다. 제가 잘못 설명했습니다. 앞서 드린 답변에는 오류가 있었습니다. 정확하게 수정하겠습니다” 가끔은 ‘미처 고려하지 못했습니다’라는 말도 덧붙인다. 주변에 앉아있는 동료들보다 사과도 잘하고 반성도 하며 변명도 길지 않고 자존심도 부리지 않는다. 상사라고 하기엔 뭐 하지만 아무튼 인간이 하는 지적에 절대 토를 달지 않는다. 그래서 편하다. 잘못을 인정하는 태도만큼은 참으로 모범적이다.


여기서 또 하나의 의문이 생긴다. AI는 정말로 잘못 이해하고 있는 것일까? 아니면 사용자가 지적했으니 그에 맞춰 새로운 답변을 만들어낸 것일까? 무엇보다 AI가 내놓는 ‘사과(apology)’는 인간의 반성과는 다르다. ‘죄송합니다’라는 표현이 잘못에 대한 자각을 의미하지는 않는다. 사용자의 지적을 반영해 답변을 수정하는 과정일 뿐이다. 물론 그 수정된 답변이 반드시 옳다는 보장은 없다. 오류를 바로 잡으려고 했는데 새로운 거짓과 마주할지도 모른다. 아직은 인간이 꼼꼼하게 확인하는 작업을 거쳐야 한다. AI는 우리 곁에서 우리에 도움을 주는 도구일 뿐이다.


현재의 AI는 ‘할루시네이션(Hallucination)’, 즉 환각이라고 부르는 현상을 지니고 있다.
AI가 사실이 아닌 정보를 마치 사실인 것처럼 생성하는 현상인데 예를 들면 존재하지 않는 논문을 인용하거나 실제로 하지 않은 발언을 유명인의 말로 소개하고 세상에 없는 통계자료를 근거로 제시하기도 한다. 문제는 이러한 오류가 어설픈 문장 속에 숨어 있지 않다는 것이다. 오히려 잘 정돈된 문장과 설득력 있는 논리 속에 섞여 있다는 데 있다.


말이 유창하다고 해서 반드시 사실인 것은 아니다.
논리가 정연하다고 해서 근거까지 정확한 것도 아니다. 사실 ChatGPT도 이런 위험을 숨기지는 않는다. 화면 하단에는 다음과 같은 안내 문구가 있다. “ChatGPT는 실수할 수 있습니다. 중요한 정보는 확인하세요.” 짧지만 꽤 중요한 문장이다. ‘제가 최대한 열심히 답변해 드리겠습니다. 내용이 맞는지는 당신이 꼭 직접 확인하세요’ 다르게 해석해도 의미는 같다.


물론 AI가 제공하는 효용까지 부정하려는 생각은 ‘1’도 없다. 오히려 나는 AI가 무척 유용하다고 생각한다. 방대한 자료를 정리하고 복잡한 개념을 설명하고 글의 구조를 잡는 데 이만한 도구가 있을까. 이미 빠져들었다. 다만 그 편리함에 익숙해질수록 의심하는 과정까지 자칫 생략하기 쉽다는 것이다. 특히 AI가 작성한 결과물을 업무에 활용할 때는 더욱 그렇다. 보고서에 들어가는 숫자나 인용문, 계약 조건 등이 잘못되는 순간 단순한 오류에서 끝나지 않는다. 누군가의 판단에 영향을 미치고 잘못된 의사결정으로 이어질 수도 있다는 것이다. 굉장히 크리티컬 한 문제다.


언젠가 ‘AI 시대에 생성 AI를 잘 이용하려면 질문(프롬프트)을 잘해야 한다’라고 했었는데 잘 만들어진 프롬프트도 중요하지만 답변을 의심할 줄 알아야 하고 그럴듯한 문장 속에서도 사실과 허구를 구별할 줄 아는 능력도 필요해졌다. 팩트체크 후 진짜 핵심은 사용하고 거짓은 수정해 가면서 꼼꼼하게 따져야 한다는 것이다.


이 글을 AI에게 보여주면 뭐라고 할까. “매우 날카롭고 통찰력 있는 글입니다. 특히 AI의 한계를 정확하게 짚어내셨습니다.” 이 말을 어디까지 믿어야 할지는 역시 사람이 판단할 일이다.

 


※ 그런 의미에서 SNS에 돌아다니던걸 하나 남겨본다.

 

 


해당 콘텐츠는 Pen잡은 루이스님과 모비인사이드의 파트너쉽으로 제공되는 기사입니다.