📸 인스타그램 🗣 카톡방(비번2060) 🔗 링크드인 📺 유튜브 🧵 스레드
“크롬 열어줘.”
AI에게 이렇게 말하면 보통 잠깐 기다리게 됩니다. 내 말을 알아듣고, 뭘 해야 할지 판단하고, 실제로 프로그램을 여는 데 시간이 걸리니까요.
최근 공개된 jev-voice라는 프로젝트는 이 일을 나눠 처리합니다. 내 목소리를 글자로 바꾸는 건 맥 안에서 하고, 어떤 행동을 할지 고르는 건 Jev라는 AI에 맡깁니다. 그리고 실제로 크롬을 여는 건 코드가 합니다. 개발자가 공개한 측정에서 Jev가 판단하는 구간은 약 0.17~0.42초였습니다. 음성을 알아듣는 시간 등은 별도로 더해집니다.
음성으로 앱을 여는 기능이 새롭냐구요? 아니죠. Siri도 있고, 다른 AI로도 당연히 할수 있는 작업입니다.
제가 재미있게 본 건 일을 나누고 처리하는 방식입니다.
이 작업에서 우리가 가장 원하는 건 “크롬을 열어드리겠습니다. 크롬은 구글이 만든 웹브라우저로…”라는 LLM의 답변이 아닙니다.
그냥 크롬이 열리면 됩니다. 그리고 Jev는 그런 순간에 쓰려고 만든 AI입니다.
그리고 저는 이 작은 차이가 AI를 쓰는 비용뿐 아니라, AI 회사들이 돈을 버는 방식 자체에도 영향을 줄 수 있다고 생각합니다.
AI가 글을 못 쓴다고요?
요즘 장안의 화제인 TypeSafe라는 회사가 만든 Jev는 문장을 쓰지 않습니다. 대신 정해둔 선택지에서 답을 고르거나, 점수와 확률을 돌려줍니다.
예를 들어 고객이 이런 메시지를 보냈다고 해보겠습니다.
“지난주에 주문했는데 아직도 안 왔네요. 그냥 취소해주세요.”
사람은 읽자마자 대충 압니다. 배송이 늦어서 불만이 생겼고, 주문을 취소하고 싶다는 뜻입니다.
그런데 프로그램에는 이걸 하나씩 알려줘야 합니다. 배송 문의인가? 취소 요청인가? 어느 담당자에게 보내야 하나?
Jev에게는 이런 질문과 답의 형식을 미리 정해줍니다. 그러면 Jev가 판단값을 보내고, 프로그램이 다음 일을 합니다. 고객에게 친절하게 사과하는 문장은 다른 AI가 쓰더라도, 문의를 분류하는 단계에서는 긴 답변이 필요 없는 겁니다.
흔히 개발자들이 말하는 ‘자연어 if문’이 바로 이런 뜻입니다. 다시말해, if statement(조건문)는 ‘이 조건이면 이렇게 해라’라는 프로그램의 기본 문법입니다.
‘결제금액이 10만 원을 넘으면 무료배송’처럼 숫자로 정할 수 있는 조건은 쉽습니다.
그런데 ‘고객이 화가 났으면 담당자에게 넘겨라’는 어렵습니다. “괜찮아요”라고 했는데 정말 괜찮은 건지, 참다못해 대화를 끝내려는 건지 어떻게 알까요.
어려웠던 건 조건문 자체보다, 그 안에 넣을 판단이었습니다.
Jev는 그 판단을 말로 설명해서 시키는 도구라고 보면 됩니다.
만든 사람은 OpenAI 출신입니다.
TypeSafe 공동창업자 Diogo Almeida는 OpenAI에서 InstructGPT 연구에 참여했습니다. AI가 사람의 지시를 더 잘 따르게 만드는 연구였습니다.
그는 4년 동안 이런 질문을 품었다고 합니다.
"대화는 이렇게 잘하는데, 자동화는 왜 어려울까?"
그 고민끝에 만들어진 Jev는 사람이 읽을 답변보다 프로그램이 바로 쓸 결과에 더 집중합니다. 회사가 발표한 응답 시간은 70~500밀리초, 초로 바꾸면 0.07~0.5초입니다.
자체 업무 평가에서는 비교 모델보다 193.6배 빠르고 444.6배 저렴한 결과도 공개했습니다. 다만 회사도 이 차이가 실제 사용에서 얻을 이득 중 높은 편일 수 있다고 설명합니다.
숫자만 보면 엄청납니다. 그렇다고 어떤 일을 시켜도 193배 빨라진다는 뜻은 아닙니다.
제가 더 관심을 갖는 건 이런 판단을 싸게, 자주 부를 수 있게 되면 무엇이 달라지느냐입니다.
한 번 질문하고 답변을 받는 챗봇에서는 몇 초 기다리는 게 큰 문제가 아닐 수 있습니다. 그런데 AI가 일을 처리하면서 작은 판단을 수십 번 반복한다면, 기다리는 시간과 비용이 계속 쌓입니다.
그중 일부라도 가볍게 처리할 수 있다면 제품을 만드는 방법이 달라집니다.
글을 쓰는 AI 앞에, 글을 고르는 AI를 둡니다
그리고 시장에서는 이미 그런 실험들이 나오고 있습니다.
AI 코딩 도구를 오래 쓰면 대화와 작업 기록이 쌓입니다. 읽었던 파일, 실행했던 명령, 오류 메시지 같은 것들입니다. 기록이 너무 길어지면 정리가 필요합니다.
fast-jev-compaction이라는 프로젝트는 Jev에게 오래된 작업 기록을 남길지, 줄일지, 없앨지 판단하게 합니다. 남기는 내용은 새로 요약하지 않고 원문을 유지합니다.
생각해보면 꽤 실용적인 역할입니다. 글을 잘 쓰는 AI에게 모든 자료를 계속 읽히기 전에, 다른 AI가 읽을 자료부터 추려주는 겁니다.
다만 이걸 붙였다고 기억 문제가 해결되는 건 아닙니다. 지금 쓸모없어 보이는 오류 메시지가 나중에 꼭 필요할 수도 있습니다. 남긴 내용을 정확히 보존하는 것과, 필요한 내용을 전부 남기는 것은 다릅니다.
Jev를 이해할 때 이 선은 기억해야 합니다.
정해진 답 중에서 고른다고 정답만 고르는 건 아닙니다.
A와 B만 허용하면 엉뚱한 C를 만들지는 않습니다. 하지만 A가 맞는데 B를 고를 수는 있습니다.
앱 하나를 잘못 여는 정도라면 다시 하면 됩니다. 결제를 승인하거나 중요한 기록을 지우는 일이라면 한 번 더 확인해야겠죠.
그래서 앞으로는 모델 이름만큼이나, 그 모델을 어디에 넣고 어떤 일을 맡겼는지가 중요해질 거라고 봅니다.
큰 AI를 매번 부를 필요가 있을까요?
Jev와 비슷한 방식을 기존 모델로 구현하려는 시도도 나왔습니다.
SemIf라는 독립 프로젝트는 기존 오픈 모델에서 선택지 점수를 직접 읽습니다. Jev와 비슷하게 글로 답을 쓰게 하는 과정을 건너뛰는 겁니다.
이를 일상에서 실제로 바꿔 써본 사람도 있습니다
투자자인 Tunguz는 자신이 쓰던 AI 프로그램에서 이런 판단 작업을 찾아 일부를 교체해봤다고 합니다.
그가 사람이 직접 확인한 이메일 대화 98건으로 비교한 결과, 기존에 쓰던 AI 분류기의 정확도는 약 47%였습니다. Jev는 약 80%, 자신의 컴퓨터에서 돌린 SemIf는 약 82%의 정확도를 보여줬다고 합니다. 특정 이메일 업무에서 나온 작은 실험이지만, 용도에 맞게 바꾸니 더 잘할 수도 있었다는 겁니다.
제가 더 재미있게 본 건 실제 운영 방식입니다. 들어온 이메일 31건 중 로컬 모델이 맡은 건 8건이었습니다. 그 8건에서는 오류가 없었고, 나머지는 큰 모델에 넘겼다고 합니다.
모든 일을 작은 모델로 처리할 필요는 없습니다. 잘할 수 있는 일만 맡겨도 큰 모델을 부르는 횟수는 줄어듭니다.
제가 보는 큰 흐름은 이렇습니다.
- 단순한 규칙은 코드가 처리합니다.
- 가벼운 판단은 작은 모델이 합니다. 내 기기에서 끝낼 수 있으면 거기서 끝냅니다.
- 복잡한 문제를 풀거나 긴 글을 써야 할 때 큰 모델을 부릅니다.
사람도 모든 일을 회사에서 가장 비싼 전문가에게 맡기지는 않습니다. 정해진 절차대로 처리할 일은 그렇게 하고, 어려운 일이 생겼을 때 전문가를 찾습니다.
AI도 비슷해질 거라고 생각합니다.
LLM을 없애는 게 아니라, 꼭 필요한 순간에만 쓰게 만드는 겁니다.
Jev 자체는 아직 클라우드 서비스입니다. Jev가 지금 내 폰 안에서 돌아간다는 이야기는 아닙니다. 하지만 저는 곧 Jev가 맥에서 돌아가고, 아이폰에서 돌아가는 시대가 금방 올 것이라고 생각합니다.
동시에 서로 다른 AI 제품들도 이런 식으로 역할을 나눠 쓰는 방향으로 닮아갈 것 같고 이건 제가 뉴스레터에서 이미 몇백번 외쳐왔던 비용, 보안, 프라이버시를 위한 당연한 흐름입니다.
더 많이 쓰겠지. 그런데 어디서 쓸까요?
재미있게도 Jev라는 이름은 경제학자 윌리엄 스탠리 제번스에서 따왔습니다.
효율이 좋아져 사용 비용이 내려가면, 오히려 소비가 늘어날 수 있다는 바로 그 ‘제번스의 역설’의 제번스입니다.
당연한 이야기지만 TypeSafe는 AI 판단이 싸질수록 새로운 사용처가 생길 것이라고 기대합니다.
저도 그 부분에는 동의합니다. AI는 지금보다 훨씬 많이, 아주 자연스럽게 매순간 쓰게 될 겁니다.
여기서 중요한 질문은 바로 그렇다면 우리가 그때마다 거대한 클라우드 모델에 돈을 낼까요?
저는 늘어나는 사용의 상당 부분을 작은 모델과 로컬 AI가 처리할 거라고 생각합니다. 로컬이라는 건 내 컴퓨터나 휴대폰 안에서 처리한다는 뜻입니다.
폰에서 끝낼 수 있는 일을 매번 서버로 보내고 기다릴 이유는 줄어듭니다. 작은 모델로 충분한 일을 더 비싼 모델에 맡길 이유도 줄어들겠죠.
다시말해 우리가 AI를 압도적으로 더 많이 쓰긴 하겠지만, 그 수요는 사실 더 저렴하고, 더 빠르고, 더 안전한 로컬/오픈소스 온디바이스 모델들로 갈수도 있다는 생각입니다.
물론 작은 모델도 서버에서 돌릴 수 있고, 클라우드 회사들도 효율을 높일 겁니다. 그래서 작은 AI가 나온다고 데이터센터가 필요 없어지는 것은 아닙니다.
제가 의심하는 건 그다음 계산입니다.
AI를 열 배 많이 쓴다고 클라우드 회사에 내는 돈도 열 배가 될까요?
사용은 늘어도, 돈은 기대만큼 안 들어올 수 있습니다
동시에 한 가지 더 생각해볼 게 있습니다. 절약한 돈은 누구에게 남을까요?
고객이 같은 구독료를 내는데, 서비스를 만드는 회사가 큰 모델을 덜 불러도 된다면 그 회사에는 이익이 더 남습니다. 가격을 낮춰 고객을 더 모을 수도 있고요. Tunguz도 이런 식으로 AI를 효율적으로 운영하는 회사들의 수익성에 주목합니다.
저는 여기서 데이터센터 쪽 계산이 궁금해집니다. AI 제품은 더 잘 팔리는데, 제품 하나를 운영하는 데 필요한 클라우드 비용은 내려갈 수 있습니다. 사용량 증가가 그 차이를 메울 만큼 클지는 별개의 문제입니다.
그래서 저는 ‘AI 사용량이 늘어난다’는 말만으로 지금의 인프라 투자가 정당화되지는 않는다고 생각합니다.
CAPEX는 데이터센터, 서버, 장비 등에 미리 쓰는 설비투자 비용입니다. 돈을 먼저 크게 쓰고, 앞으로 들어올 수익으로 회수하는 겁니다.
현재 클라우드 사업이 잘되고 있다는 사실은 인정해야 합니다. Microsoft는 2026회계연도 4분기에 클라우드 매출이 전년보다 27% 늘었다고 발표했습니다. 같은 분기 금융리스를 포함한 설비투자는 410억 달러였습니다.
그런데도 저는 지금의 투자 속도가 과하다고 봅니다.
AI는 더 많이 쓰겠지만, 생각보다 많은 일을 더 싸거나 오픈소스 모델로 처리하고, 내 기기 안에서 끝내게 될 것 같기 때문입니다. 사용이 늘어나는 속도만 보고 투자했다가, 돈이 들어오는 속도가 기대에 못 미칠 수 있다는 겁니다.
Jev 하나가 이 전망을 증명하는 것은 아닙니다. 다만 “이 일에도 꼭 큰 모델이 필요한가?”를 다시 묻게 만드는 사례는 됩니다.
닷컴 때도 인터넷은 진짜였습니다
인터넷이 세상을 바꿀 거라는 예상은 맞았습니다. 그런데 그 미래에 투자한 모든 회사가 돈을 번 것은 아닙니다.
당시에도 인터넷 사용은 빠르게 늘었지만, 일부 통신망에는 과잉투자가 생겼습니다. 연준의 당시 분석도 트래픽 증가와 장거리 광통신망의 과잉설비가 함께 존재할 수 있음을 설명합니다.
기술의 방향은 맞았는데, 너무 빨리, 너무 비싸게 미래를 산 겁니다.
저는 AI에서도 비슷한 일이 벌어질 수 있다고 생각합니다.
AI는 더 유용해집니다. 사람들은 더 많이 씁니다. 그런데 가격은 내려가고, 작업은 여러 곳으로 나뉘고, 투자자가 기대한 만큼의 돈은 돌아오지 않을 수 있습니다.
AI가 세상을 바꾼다는 것과 지금 짓는 데이터센터가 좋은 투자라는 것은 다른 이야기입니다.
그래서 저는 AI로 만들어질 제품에는 기대가 크지만, 그 기대를 근거로 쏟아붓는 투자에는 회의적입니다.
그래서 어쩌라고?
저에겐 꿈이 있습니다. 더 저렴하고, 더 빠르고, 내 기기 안에서도 돌아가는 AI.
평소에는 내 기기들에서 최고의 모델의 80%의 성능이지만 작고 빠른 오픈소스 모델을 무료로 쓰다가, 딱 어려운 순간에만, 보안을 유지하면서, 개인정보를 밝히지 않은채 큰 모델의 도움을 받을 수 있다면, 지금은 비용이나 보안 때문에 만들기 어려운 제품도 가능해질 겁니다.
만약 그렇게만 된다면, 지금은 지메일도 클로드에게 안열어주는 저이지만, 로컬 모델에게는 제 모든 정보와 자료들을 믿고 맡길수있게 될 것이고 그렇게되어야지만 진정한 AI비서가 탄생할 것이라고 믿습니다. 그리고 이게 Instinct를 비롯한 모든 AI회사들이 가야할 미래라고도 생각합니다.
솔직히 Jev가 최종 승자가 될지, 아니면 제 꿈을 이뤄줄 수 있을지는 모르겠습니다.
하지만 중요한 건, Jev의 등장과 받는 관심은, 제가 원하는 미래가 맞는 방향이고 우리가 앞으로 나아갈 방향이라는 점에 좀 더 힘을 실어주는 사건이 아니었나 생각합니다.
Jev를 보면서 너무 설렜습니다. 이걸 이용해서 얼마나 재미있는 제품들이 나타나고, 얼마나 많은 AI회사들이 비용을 아끼고 저렴해질까요?
안그래도 메타 뮤즈(제 인스타/스레드/오픈챗 사용기있음)와 Instinct덕분에 인생이 편해졌는데, 앞으로는 얼마나 더 편해질까요?
오늘도 내일이 너무 기대됩니다.
읽어주셔서 감사합니다.
이안 드림
