|
AI를 도입하면 일이 잘 될 거라 기대하지만, 막상 사업 성과는 좀처럼 나아지지 않습니다. 왜냐하면, 회의와 보고와 지시처럼 매일 지나치는 상황을 리더, 팀장, 실무자가 다르게 보고 있고, 아무도 그 차이를 서로 말하지 않기 때문입니다. 그리고, 어쩌면 AI로 더 말하지 않게 되었는지도 모른다는 생각에서 이 글은 출발했습니다. |
AI를 들인 지 반년쯤 된 회사에서 리더가 묻습니다.
“우리 지금 얼마나 쓰고 있어요?” 다들 쓰는 것 같은데 뭐가 달라졌는지 모르겠으니, 일단 재보자는 것입니다. 집계가 시작되고, 팀별로 올라온 숫자의 사용량이 점차 늘어난 것으로 보아 충분해 보입니다. 마치 AI가 회사에 자리를 잡은 것 같습니다. 그런데 매출, 이익은 거의 그대로이고 AI 사용 비용만 늘어난 것 같습니다. 분명히 Input은 늘었는데 달라진 것이 없는 것입니다. 참고로 리더의 지시는 AI 사용을 독려하려는 것이지, 평가하기 위함이 아닙니다.
주변에서 들려오는 이야기들로부터 ‘사용량 집계’까지는 많이 봤습니다.
그런데 그 숫자를 ‘평가’에 넣는 회사는 아직까지 다행히도 없었습니다. 다만 집계(측정)와 평가 사이가 한 끗 차이라, 혹시나 하는 마음에 그 차이를 다시 한번 강조하기 위함입니다. 참고로 측정은 과정 및 추이를 관리하기 위함이고, 평가는 누가 누가 잘하는 가를 가려내기 위함인 것을 대부분 잘 구분해서 말하지 않아 여러 오해가 만들어집니다. 이 글은 그 오해를 최소화하기 위한 글입니다.
투입 대비 산출을 확인하는 것은 당연합니다
그런데, 투입 자리에 사용량이 들어갔습니다
리더가 한 일은 투입 대비 산출을 보려 한 것입니다.
이건 어느 회사든 하는 일입니다. 사람을 썼으면 그 사람이 무엇을 만들었는지 보고, 돈을 썼으면 그 돈이 무엇이 되었는지 봅니다. AI를 들였으니 AI가 무엇이 되었는지 보려는 것은 지극히 당연한 모습입니다. 따라서, 잘못이 아닙니다.
그런데, 투입 자리에 들어간 것이 ‘사용량’이었습니다.
보통은 ‘토큰 소비량’입니다. AI가 읽고 쓴 글의 양을 세는 단위로, 거기에 몇 번 물었는가, 몇 시간 켜두었는가가 추가로 붙습니다. 이렇게만 보면 그럴듯해 보이는 논리인 것이, 많이 쓰면 많이 달라졌을 것이고, 적게 쓰면 적게 달라졌을 것이니, 사용량을 보면 성과가 보일 것 같습니다. 그런데 사용량과 성과 사이에는 특별한 연관성이 없습니다. 많이 쓴 팀이 잘된 것도 아니고, 적게 쓴 팀이 못된 것도 아닙니다. AI 도입과 관계없이 전부터 잘하는 사람과 팀은 도입 이후에도 계속 잘하고 있을 것입니다.
그럼, 무엇을 중점적으로 봐야 할까요?
원칙대로라면, AI를 들이기 전과 후를 봐야 합니다. 같은 일이 AI 도입 이후에 어떤 부분(과정상의 디테일)에서 달라졌고, AI로 인해 무엇이 개선되었는지를 비교하는 것입니다. 쉽게 말해 업무상 결과 또는 성과를 두고 이를 만드는 과정에서 AI 도입 전과 후가 어떻게 달라졌으며, 직접 이 업무를 맡은 이는 어떻게 평가하는가를 봐야 할 것입니다. 그것이 객관적인 비교이고, 단순 사용량은 그 비교의 재료라기보다는 참고요소에 가깝습니다.
사용량은 주고받은 글의 양입니다
그리고 ‘평가’라는 말이 한몫합니다
그럼, 왜 사용량은 업무 성과와 연관이 없을까요?
연관이 크게 없다고 보는 편이 맞는 게, 사용량은 ‘쓰임새’가 아니라 ‘양’이기 때문입니다. 토큰은 넣은 글과 받은 글의 길이이고, 대화가 길어질수록 앞의 내용을 매번 다시 싣는 양까지 들어갑니다. 그러니 토큰을 키우는 것은 넷입니다. (1) 긴 자료를 통째로 넣는 것, (2) 긴 답을 받는 것, (3) 마음에 안 들어 다시 시키는 것, (4) 대화를 길게 끌고 가는 것으로, 사용자가 보이는 행태에 가깝습니다.
이 네 가지 행태 중에 어떤 모습이 성과와 닿아 있다고 볼 수 있을까요? 한 가지 일을 AI와 끝까지 붙들고 하는 사람도 토큰이 많고, 보고서를 복사해 넣고 “정리해 줘”만 하는 사람도 토큰이 많습니다. 토큰 사용량으로는 둘이 같을 수도 있습니다. 또는 둘 중에 누가 더 영리하게 사용하는가에 대해서도 어떤 기준으로 보는가에 따라 다릅니다. 그러니 사용량이 세 배가 되었다는 것은 일이 세 배로 커졌거나 달라졌다는 뜻이 아니라, 세 배 많은 글이 오갔다는 뜻일 뿐입니다.
그럼, 많이 오간 것은 쓸모가 없을까요?
아닙니다. 많이 써본 것은 어디가 되고 어디가 안 되는지를 알아가는 과정이고, 그 자체로 필요한 일입니다. 따라서, AI 도입의 성과 및 효과를 볼 때는 사용량의 결과로 보기보다는, 사용성의 재료를 위주로 봐야 합니다. 왜냐하면, 많이 써봐야만 AI가 내 업무에서 어떤 부분에 도움이 되고 안 되고를 알 수 있는데, 단순 사용량만 보면 많고 적고의 판단만 할 수 있기 때문입니다. 그럼 많이 써본 데서 끝나고, 숫자만 남습니다. 그 자체로는 큰 의미가 있다고 보기 어렵다는 것입니다.
게다가 여기에 ‘평가’라는 말이 얹히면 여러 오해가 만들어집니다.
같은 숫자라도 ‘측정’이라고 부를 때와 ‘평가’라고 부를 때 이를 받는 쪽의 느끼는 뉘앙스가 완전히 달라집니다. 구성원 입장에서 평가라는 단어가 주는 부정적 뉘앙스, 거부감은 무시 못 할 수준이기 때문입니다. 이전 글에서 “결과물로 사람을 가르면 안전한 결과물만 올라온다”라고 했는데, 만약에 사용량으로 사람을 가르면 안전한 숫자만 올라올지 모릅니다. 그리고, 구성원이 느끼기에 “엉뚱한 걸로 평가한다”는 말이 한 번 퍼지면, 숫자는 좋아지는데 실제 도움이 되는 사용은 더 얕아질 수 있습니다. 그럼, 리더의 사용 독려를 위한 측정이 의도와는 다르게 정반대로 작동되는 것입니다.
이를 막기 위해서라도 각 계층별로 나름의 대응 전략이 있어야 합니다.
팀장은 집계표를 만듭니다
그런데 누가 깊게 쓰는지는 거기 없다면, 아무런 소용없습니다.
이때 팀장이 하는 일은 AI 토큰 사용량 집계표를 만들고 독려하는 것입니다.
위에서 숫자를 달라 하니 표를 만들고, 낮은 팀원에게는 더 써보라고 합니다. 그런데 팀장은 압니다. 팀원 중 누가 AI를 깊게 쓰고 있는지, 누가 한 가지 일을 AI와 끝까지 하고 있는지를 팀장은 옆에서 봐서 압니다. 그리고 그것이 집계표에는 안 잡힌다는 것도 압니다. 깊게 쓰는 팀원과 긴 자료를 붙여 넣기만 하는 팀원이 숫자로는 같은 사람이 되는 것입니다. 사실, 팀장도 어떻게 해야 할지 모르거나, 아님 알지만 괜히 일을 더 키우기 싫어서 시키는 대로 움직일지 모릅니다.
그럼, 왜 이걸 바로잡으려고 하지 않을까요?
위에서는 숫자를 달라 하고, 숫자가 낮은 팀원을 변호할 근거가 눈으로 보이는 것이 사용량밖에 없기 때문입니다. “이 친구는 숫자는 비슷해도 쓰는 게 다릅니다”라는 말은 사용량 집계표만으로는 근거가 없는 말이고, 팀장 자신도 그것을 숫자로 보여줄 방법이 없습니다. 그러니 팀원을 독려하고, 위에는 열심히 하겠다는 쪽으로 갑니다. 이때 뾰족한 수 마련이 필요한데, 이것도 어떻게 해야 할지 막막할 수 있습니다.
그래서, 이렇게 하시면 됩니다.
위로 올릴 때 한 줄을 붙이십시오. “사용량은 드리되 참고용입니다. 대신 이 일이 AI 전과 어떻게 달라졌는지를 같이 올리겠습니다.” 숫자를 거부하는 것이 아니라 숫자 옆에 더 중요하다고 볼 수 있는 다른 것을 놓는 것입니다. 그 다른 것이 리더가 사용량 말고 주목해야 할 것이라는 인식까지만 만들면 됩니다.
그리고, AI는 이렇게 쓰시면 됩니다.
팀의 일 하나를 고르십시오. 보고서든 분석이든 제안서든, AI 전에도 하던 일 하나입니다. 그 일이 AI 전에는 며칠 걸렸고 몇 단계를 거쳤고 결과물이 어땠는지, AI 후에는 어떻게 달라졌는지를 AI에게 정리시키십시오. 그리고, 그 정리본을 수정하면 됩니다. 그럼, 표 하나로 어떤 부분이 개선되었는지 알 수 있습니다. 그리고, 그 표를 사용량 집계표 옆에 붙이십시오. 그것이 ‘사용성의 첫 기록‘이고, 사용량과 사용성이 다르다는 것을 리더가 눈으로 보는 첫자리입니다.
실무자는 더 많은 일에 써봅니다
그런데 회사가 보는 것은 양이었습니다
‘사용량’이라는 말을 듣고, 실무자는 더 많은 업무에 AI를 써보려고 시도합니다.
회사가 바라는 것이 그것인 줄 알고, 그동안 안 쓰던 일에도 써보고, 혹시 되나 싶은 일에도 써봅니다. 기왕 AI를 통해 성과를 개선해 보자 라는 선의이고, 자연스러운 모습입니다. 그런데 그 시도는 숫자로는 ‘양’으로만 잡힙니다. 열 가지 일에 자료를 넣고 답을 받으면 토큰 사용량은 열 배가 되는데, 그중 무엇이 됐고 무엇이 안 됐는지는 숫자 어디에도 없습니다. 사용량은 올랐고, 오르는 만큼 일은 빨리 처리되지만, 막상 일의 성과는 그대로인 것입니다.
만약 회사가 보는 것이 ‘단순 사용량’이라는 것을 알게 되는 순간, 실무자는 당황합니다.
열심히 써본 것이 양으로만 남았고, 그중 어떤 일에서 뭐가 됐고 뭐가 안 됐는지는 아무도 묻지 않기 때문에 스스로 말하기도 겸연쩍습니다. 그때부터 써도 숫자로만 남는다면 굳이 깊게 쓸 이유가 없고, 평가라는 말까지 붙어 있으면 숫자를 지키는 쪽으로 갑니다. 어쩌면 괜한 눈치를 보는 것일 수도 있습니다. 그렇지만, 이러한 모습은 가장 자연스럽습니다. 참고로 이런 행태는 실무자의 잘못이 아닙니다. ‘사용량’이라는 말이 가리킨 것이 실제로는 ‘양’이었던 것이고, 실무자는 그 말대로 간 것뿐입니다.
그래서, 이렇게 하시면 됩니다.
양 대신 한 줄을 올리십시오. “이런 일에 써봤는데, 여기는 됐고 여기는 안 됐습니다.” 많이 써본 것이 헛된 것이 아니라, 그 안에 어디가 되고 어디가 안 되는지의 디테일을 넣어서 올바르게 쓰려고 시도하고 있음을 드러내야 하는 것입니다. 그리고, 그 한 줄이 사용성 보고이고, 그것은 사용량 집계표에 없는 것입니다.
그리고, AI는 이렇게 쓰시면 됩니다.
써본 것 중에 되는 것 같았던 일 하나를 골라, 그 일을 AI와 끝까지 하십시오. 4장에서 섣불리 AI를 끊지 말라고 했는데, 여기서는 많이 써본 것 중 하나를 깊이 있게 다루는 행태로 바꾸는 것입니다. 그리고 그 일에 어디에 썼고 무엇이 달라졌는지를 AI와 함께 한 모든 작업을 마친 이후에 마지막으로 AI에게 정리해 달라고 하는 것입니다. 그것이 쌓이면 ‘우리 팀 업무에서 AI의 유용한 자리‘가 보입니다.
리더는 선의로 쟀습니다
그런데 무엇을 얻으려 했는지는 정하지 않았습니다
리더가 한 일은 리더로서 해야 할 일을 지시한 것뿐입니다.
이때 빠진 것이 하나 있는데, AI를 도입하면서 무엇을 얻으려고 했는지에 대한 내용입니다. 매출을 늘리려 했는지, 이익률을 올리려 했는지, 비용을 줄이려 했는지가 정해져 있으면 사용량이 아니라 그것을 봤을 것입니다. 그런데, 뚜렷한 목표가 없으니, 사용량부터 우선 보이는 대로 보려 한 것입니다.
그럼, 왜 사용량이 투입으로 보였을까요?
어쩌면 리더가 AI를 잘못 이해하고 있거나, 오해하고 있을 가능성이 높습니다. AI를 많이 쓸수록 우리 업무에 도움이 되는 도구로 보면 사용량이 곧 투입으로 보이고, 투입이 늘면 산출이 늘어야 하니 사용량을 재는 것이 맞아 보입니다. 이 시리즈의 머리말에서 AI를 기능 중심의 도구로만 보는 것을 짚었는데, 그것이 리더 자리에서 드러난 장면입니다. 이를 바로 잡자면, AI는 많이 쓸수록 좋아지는 것이 아니라 깊게 쓸수록 일하는 과정과 결과가 달라지는 것입니다.
그래서, 이렇게 하시면 됩니다.
(A) ‘평가’를 ‘측정’으로 바꿔 말하십시오.
“이 숫자로 평가하지 않습니다. 누가 어떻게 쓰고 있고, 그것이 성과와 관련이 있는지를 알아가려는 것입니다.” 이 말을 먼저 해야 하는 이유는 평가라는 말에 대한 거부감이 그만큼 크기 때문입니다.
(B) 그다음에 사용성을 위주로 봐야 합니다.
“누가 어디에 어떻게 쓰고 있고, 그로 인해 업무의 과정과 결과에서 AI 도입 전과 후가 어떤 부분이 달라졌습니까.”를 확인해 보는 것입니다. 단순히 사용량은 양을 묻는 것이고, 조금 더 복잡한 경위를 확인하는 사용성은 쓰임새(효과와 효율)를 묻는 것입니다.
그리고, AI는 이렇게 쓰시면 됩니다.
사용량 데이터를 AI에 넣고 “사용량과 팀 성과 사이에 관계가 보이는가”를 물어보면 됩니다. 관계가 안 보이면 그것이 답이고, 보이면 그 팀이 업무에서 실제 AI를 주로 무엇에 어떻게 쓰는지를 직접 보면 됩니다. 그래서, 사용량이 참고용이라는 것은 이렇게 물어보는 로우 데이터로 쓴다는 뜻입니다. 그리고 하나 더, AI를 들인 목적 및 목표를 매출·이익·비용 중 어디로 둘 지를 정하십시오. 어디를 향하는가가 정해져야 전과 후를 비교할 수 있는 위치와 그에 대한 인식이 생길 수 있습니다.
평가에서 측정으로, 측정에서 사용성으로
비교할 것은 AI 전과 후에 나타난 변화입니다
‘사용량 평가’는 얼마나 쓰는지를 재는 것, ‘사용량 측정’은 얼마나 쓰는지를 재고 참고용으로 두는 것입니다. 따라서, 측정으로 누가 많이 쓰고 적게 쓰는지, 그것이 개인과 팀의 성과와 어떤 관련이 있는지를 알기 위한 것이라고 구성원 모두에게 밝혀야 합니다.
그리고 차츰 ‘사용성 측정 및 확인’으로 측정 범위를 확장하면서, AI를 어느 영역에서 어떻게 쓰고 있고, 그래서 그 일이 AI 도입 전과 비교해 무엇이 달라졌는지를 살피는 것입니다. 이때 측정 순서가 있습니다. (a) 토큰 소비량은 얼마나 많이 썼는지를 보여주고, (b) 얼마나 많은 주제와 내용으로 얼마나 자주 대화했는지, 그다음이 (c) 한 가지 주제에 대해 얼마나 길고 많이 대화했는지, 그리고 마지막으로 그로 인해 (d) 업무가 얼마나 달라졌는지를 확인하는 것입니다. 사용량 측정은 이 순서의 첫 칸이고, 첫 칸 자체는 틀린 출발이 아닙니다. 문제는 첫 칸에서 멈추고 그것을 ‘평가’라고 부르는 것입니다.
예를 들어, 월간 보고서를 쓰는 일이 있다고 해보겠습니다.
사용량은 그 보고서를 쓰면서 AI와 주고받은 글의 양, 곧 토큰을 셉니다. 사용성은 AI 전에는 이틀 걸리던 것이 지금은 반나절인지, 거치던 단계가 줄었는지, 결과물에서 무엇이 좋아졌고 무엇이 그대로인지를 봅니다. 더 나아가 전체적인 일처리 속도, 상사의 피드백 등을 종합적으로 기록합니다. 그럼, 앞의 숫자는 성과와 관계가 없고, 뒤의 것은 성과와 바로 닿아 있음을 알 수 있게 됩니다. 같은 일을 보는데 보는 것이 다른 것입니다.
따라서, 사용량을 사람을 가르는 숫자에서 관계를 알아가는 숫자로 다르게 이해하는 것입니다. 거기서 한 걸음 더 가서 쓰임새를 보면서 AI를 통해 업무 성과 개선에 유효한 방법론으로 만들어보는 것입니다. 그리고 같은 업무가 전에는 어땠고 AI 도입 후에는 어떤지를 확인하는 것이 업무 생산성 체크의 올바른 방향이고, 리더가 AI를 바로 이해하면 자연스럽게 사용성 확인 쪽으로 눈을 돌리게 됩니다.
모두 사용량 집계표에 없는 것이고, AI가 대신 적어줄 수 없는 것입니다.
- 리더는 “이 숫자로 평가하지 않습니다”를 먼저 말하고, AI를 들인 목적을 매출·이익·비용 중 어디에 둘지 정하고 공표합니다.
- 팀장은 사용량 표 옆에 AI 전과 후의 업무의 달라진 점을 비교한 표 하나를 더 붙여서 AI 도입에 따른 업무 변화가 성과로 이어지는 과정을 관리하도록 합니다.
- 실무자는 어디에 썼고 무엇이 달라졌는지를 한 줄 적고, 그 과정에서 어떤 시도를 했으며, 그것들이 나와 팀에 어떤 영향 또는 도움이 됐는지 등의 의견을 적습니다.
그럼, 우리 회사가 지금 사용량을 보고 있는지, 아님 사용성을 보고 있는지는 어떻게 알 수 있을까요?
한 가지만 보시면 됩니다. 지난 분기 보고에 “AI로 이 일이 이렇게 달라졌다”는 내용이 있었는지. 혹시 간단한 언급만 있고 구체적 사례로 제시된 것이 없었다면, 사용량 위주로 보고 있거나 사용성을 거의 보고 있지 않다는 것입니다. 대신에 관련된 내용이 디테일하게 정리되어 있다면, 그 팀은 이미 사용성을 보고 있는 것이고, 거기서부터 시작하시면 됩니다.
정리하면
쓰는 양은 늘었는데 달라진 것이 없다는 것은, AI 도입 효과를 재는 기준과 방법이 우리가 원래 추구하던 방향과 맞지 않다는 신호입니다.
그럼, 무엇이 당연하고 무엇이 착각일까요? 사업이기 때문에 투입 대비 산출을 보는 것은 당연하지만, 투입 자리에 사용량을 넣은 것이 착각입니다. 그 착각은 AI를 많이 쓸수록 좋아지는 도구로 본 데서 왔고, 거기에 평가라는 말이 얹히면서 선의가 거부감으로 바뀌었습니다. 따라서, 고칠 것은 직원들의 사용량이 아니라 리더가 보는 목적과 그에 적합한 기준을 바로 잡는 것입니다. 이때 기본은 평가에서 측정으로, 사용량에서 사용성으로, 그리고 AI의 도입 전과 후의 업무상 변화를 종합적으로 봐야 하는 것입니다.
그런데, 쓰임새를 보기 시작하면 AI의 여러 방면의 활용도가 눈에 들어옵니다. 다음 글에서는 신입이 사수 대신 AI에게 배우는 이야기를 보겠습니다. AI에게 물어보면 답은 나오는데, 배우지는 못하는 자리입니다.
[작가 소개]
이직스쿨 김영학 대표. 18년차 전략 컨설턴트.
6년이 넘는 동안 1,500여 명의 직장인을 만나 커리어 코칭을 했고, 함께한 사람들이 스타트업 기업에서 대기업으로, 중견기업에서 전도유망한 스타트업 기업으로, 외국계 기업이나 해외로 취업하는 것을 도왔다. 또한 수년간 대기업과 중견기업을 대상으로 전략 기반의 비즈니스 컨설팅을 했으며, 현재는 스타트업 전문 비즈니스 코치로도 활동 중이다. 또한, 직장생활과 커리어에 인사이트를 주는 글을 꾸준히 쓰고 있으며 〈이코노믹리뷰〉에 ‘직장에서 생존’이라는 칼럼을 연재하고 있다.
김영학 코치님의 브런치에 게재한 글을 편집한 뒤 모비인사이드에서 한 번 더 소개합니다.
