AI를 사용하는 또 다른 방법, 오픈모델의 세계
AI 모델에 같은 일을 시켰다. 결과물은 눈에 띄게 다르지 않았는데, 청구서가 달랐다.
문서를 요약하고, 코드를 고치고, 메일 초안을 잡는 일. 한쪽은 50달러, 다른 쪽은 14센트였다. 300배다. 배가 아니라 곱하기다. 이 얘기를 꺼내면 열에 아홉은 되묻는다. “싼 게 비지떡 아니냐.” 맞는 의심이다. 나도 그렇게 생각했다. 그래서 직접 돌려봤고, 그 결과를 그대로 적는다.
결론부터 말하면 300배를 아끼는 게 늘 이득은 아니다. 다만 어떤 일에는 확실히 이득이다. 그 경계선이 어디인지가 이 글의 전부다.
‘무료’는 어떻게 사용했을때 성립하나?
오픈웨이트는 모델의 가중치를 공개한 것을 말한다. 가중치는 모델이 학습으로 얻어낸 숫자 뭉치다. 요리로 치면 레시피가 아니라 완성된 육수다. 남이 오래 우려낸 육수를 받아다 내 주방에서 쓰는 것이다. 비법 노트를 받은 게 아니라 결과물을 받았다.
여기서 중요한 게 있다. 육수를 공짜로 받았다고 요리가 공짜가 되진 않는다. 불도 때야 하고 주방도 있어야 한다. 모델을 돌릴 컴퓨터 값은 여전히 든다. 14센트는 그 불값이다. 모델값이 0원인 것이지 운영이 0원인 게 아니다. 비유는 여기까지만 쓴다. 그림이 그려지라고 든 것이지 육수와 모델이 같은 물건은 아니다. 메타의 라마가 이 흐름을 열었고, 딥시크와 알리바바 큐원이 뒤를 이었다. 국내에서도 경량화 모델로 기업 도입 비용을 낮추려는 시도가 나오고 있다.
숫자로 보면 더 분명하다. 공개 가격 집계에 따르면 오픈웨이트 모델의 중간 가격은 100만 토큰당 0.53달러, 폐쇄형은 2.63달러다. 개별로 내려가면 격차는 더 벌어진다. 라마 4 스카우트는 입력 100만 토큰에 0.18달러, 클로드 소네트 4.6은 3달러다. 입력 기준 16배, 출력 기준 25배다.
그럼 왜 아직 유료를 쓰나
세 가지가 다르다.
첫째, 어려운 문제에서 갈린다. 쉬운 일은 비슷하다. 요약, 번역, 형식 맞추기는 차이를 느끼기 어렵다. 여러 단계를 거쳐야 답이 나오는 문제, 중간에 판단이 끼는 문제에서 벌어진다.
둘째, 손이 덜 간다. 유료는 열면 바로 쓴다. 무료는 깔고, 맞추고, 손봐야 한다. 내 시간이 시간당 얼마인지 계산해보면 그 설치 시간이 300배 절감을 다 까먹을 수도 있다.
셋째, 책임질 곳이 있다. 문제가 생겼을 때 전화 걸 데가 있느냐 없느냐. 회사 데이터가 걸린 일에서는 이게 가격보다 크다.
이건 인정하고 가야 한다. 오픈웨이트가 모든 업무에서 대등하다는 말은 사실이 아니다. 어려운 추론, 도구를 여러 개 물려 쓰는 작업, 최상급 코딩에서는 아직 밀린다. 이걸 인정 안 하고 “무료가 다 된다”고 하면 그게 거짓말이다. 업계 분석도 성능 격차가 좁혀졌다고 할 뿐 사라졌다고 하진 않는다. 12개월에서 16개월 정도로 본다.
“그럼 결국 유료 쓰라는 얘기냐”고 할 수 있다.
아니다. 다음 문단이 진짜 하려던 말이다.
그 셋이 다 필요한 일은 적다
회사에서 하루에 도는 일을 종이에 적어보면 금방 보인다. 대부분은 정해진 걸 반복하는 일이다. 메일 초안 잡기, 회의록 정리, 상품 설명 문구 다듬기, 문서에서 숫자만 뽑아내기, 고객 문의 1차 분류. 이런 일에 최고 성능이 필요한가. 필요 없다. 웬만하면 다 된다.
그런데 이런 일이 양이 제일 많다. 어려운 일은 하루에 몇 건이지만 쉬운 일은 하루에 수백 건이다. 비용은 건수에 곱해진다.
300배가 무서운 게 아니라 300배 곱하기 수백 건이 무섭다.
그래서 답은 둘 중 하나를 고르는 게 아니다. 나누는 것이다. 양 많고 쉬운 일은 싼 쪽으로, 드물고 어려운 일은 비싼 쪽으로.
계산해보면 체감이 온다. 하루 300건짜리 반복 업무가 있다고 하자. 건당 토큰이 얼마 안 되더라도 한 달이면 9,000건이다. 여기에 16배를 곱하면 월 몇십만 원이 몇만 원으로 내려간다. 반대로 하루 다섯 건짜리 어려운 판단은 비싼 쪽으로 다 돌려도 월 몇만 원이다. 비싼 걸 아끼려다 정작 아껴야 할 데를 놓치는 구조가 여기서 나온다.
그리고 이건 둘 중 하나를 버리는 결정이 아니다. 업무마다 다른 도구를 붙이는 것뿐이다. 회사에서 문서 하나 만들 때도 워드로 쓰다 숫자는 엑셀로 넘기지 않나. 그것과 같다. 기업이 도입하는 방식 자체가 일곱 가지로 갈린다는 정리도 나와 있다.
데이터가 밖으로 안 나간다
값보다 중요할 수 있는 게 하나 더 있다. 오픈웨이트는 내 컴퓨터에서 돌릴 수 있다. 그 말은 회사 문서가 밖으로 안 나간다는 뜻이다. 계약서, 인사 자료, 미공개 실적. 이런 걸 남의 서버에 올리는 게 내내 꺼림칙했다면 이쪽은 그 걱정이 구조적으로 없다. 안 올리니까.
그런데 여기에도 뒤집기가 있다. 내 컴퓨터에서 돌린다는 건 보안을 내가 책임진다는 뜻이기도 하다. 남의 서버가 안전하지 않다고 느꼈다면 내 서버는 정말 더 안전한지 물어야 한다. 관리할 사람이 없으면 오히려 더 위험하다.
막는 것까지는 쉽다. 문제는 대안을 안 주면 직원들이 결국 개인 계정으로 쓴다는 것이다. 그게 더 위험하다. 회사가 통제할 수 없는 곳으로 자료가 나가는데 기록조차 안 남는다. 사내에 직접 구축하는 방식이 대안으로 거론되는 이유가 여기 있다. 다만 이것도 공짜가 아니다. 장비를 사야 하고, 돌볼 사람이 있어야 하고, 모델이 바뀔 때마다 다시 손봐야 한다. 규모가 작으면 배보다 배꼽이 크다.
그래서 판단 기준은 하나다. 지금 남의 서버로 나가고 있는 문서 중에, 나가면 안 되는 게 실제로 있는가. 있으면 그 일부터 안으로 들이면 되고, 없으면 굳이 서두를 이유가 없다.
오늘 당장 해볼 수 있는 것
거창하게 시작하지 말고 이 순서로 해보길 권한다.
하나.
지난달 청구서를 열어 어디에 돈이 제일 많이 나갔는지 본다. 대개 한두 가지가 대부분을 먹고 있다.
둘.
그 한두 가지가 정말 어려운 일인지 본다. 어렵지 않은데 양만 많다면 그게 옮길 후보다.
셋.
그 일 하나만 싼 쪽으로 옮겨 일주일 돌려본다. 전부 옮기지 말고 하나만. 결과가 나빠지면 되돌리면 된다.
넷.
일주일 뒤 두 가지를 비교한다. 값이 얼마나 줄었나, 그리고 사람 손이 얼마나 더 갔나. 두 번째를 빼먹으면 계산이 틀린다.
“직접 서버까지 깔아야 하는 거냐”고 물을 수 있다. 아니다. 첫 단계에서는 그럴 필요가 없다. 오픈웨이트를 대신 돌려주고 쓴 만큼만 받는 서비스가 이미 여럿이다. 기존에 쓰던 것과 붙이는 방식이 거의 같아서, 주소 하나 바꾸는 수준으로 시작할 수 있다.
장비를 들이는 건 그다음 문제다. 옮겨본 결과가 쓸 만하고, 양이 충분히 많고, 데이터를 밖에 안 내보내야 할 이유가 생겼을 때. 순서를 거꾸로 하면 장비만 사놓고 안 쓰게 된다.
단순히 싼 걸 쓰자는 얘기로 본다면 오해
필자가 하려는 말은 값을 깎자는 게 아니다. 값을 아는 채로 쓰자는 것이다.
지금까지는 선택지가 하나뿐이라 비교할 것도 없었다. 이제는 300배 차이 나는 선택지가 나란히 있다. 그런데도 전부 비싼 쪽으로 돌리고 있다면 그건 성능 판단이 아니라 한 번도 나눠본 적이 없어서일 가능성이 크다. 나눠보는 데 드는 건 일주일이다. 그 일주일이 아깝지 않을 만큼 청구서가 크다면 오늘 열어보길 권한다.
덧붙이면, 이 격차가 영원하지도 않다. 폐쇄형도 값을 내리고 있고 오픈웨이트도 성능을 올리고 있다. 지금 내린 결론이 반년 뒤에도 맞으리란 보장은 없다. 그래서 한 번 정하고 끝낼 게 아니라 분기에 한 번씩 다시 재보는 것이 맞다.
어디까지 싼 쪽으로 옮길지는 각자의 판단이다. 다만 판단하려면 숫자를 먼저 봐야 한다.
관련 영상 — 성능은 비슷, 가격이 300배 차이? 오픈웨이트 모델을 알아보자 (9:14)
쫑대표(이종대) · 데이터블 / 바이브미디어랩 / 바이브미디어파트너스 대표이사. 2011년부터 16년째 사업 중. 코카콜라·로레알·삼성전자·배민·마켓컬리 등 200여 곳과 일했고, 세바시·매일경제·KAIST·연세대 등에서 100회 이상 강연했다.
해당 콘텐츠는 쫑대표 님의 브런치에 게재한 글을 편집한 뒤 모비인사이드에서 한 번 더 소개합니다.
