AI 청구서 보고 결심했습니다

지난주 샌프란시스코에서 열린 드림포스에서 세일즈포스가 내놓은 가장 무거운 발표는 새 기능이 아니었습니다. 자사 첫 추론 모델 ‘Koa’였습니다. 그동안 세일즈포스는 여러 개의 작은 업무 특화 모델을 만들어 왔지만, 여러 단계를 스스로 계획하고 판단해야 하는 ‘추론’ 영역만큼은 클로드나 챗GPT 같은 프론티어 모델에 넘겨왔습니다. 이번에 그 마지막 조각을 직접 가져온 것입니다. 같은 시기에 엔터프라이즈 AI 기업 Writer도 자체 모델로 에이전트 비용을 절반으로 줄였다고 발표했습니다. 두 사건은 따로 일어났지만 같은 곳을 가리킵니다. SaaS 기업들이 AI 원가 구조를 남의 손에 맡기지 않기로 결심하기 시작했다는 신호입니다.

세일즈포스는 왜 직접 모델을 만들었나

“출발점이 될 기반 모델이 없었다”

제이예시 고빈다라잔 세일즈포스 AI 총괄은 테크크런치에 “자체 엔터프라이즈급 모델을 만들고 싶었지만 출발점으로 삼을 사전학습 기반 모델이 없었다”고 말했습니다. 그가 꼽은 조건은 세 가지였습니다. 미국산 오픈 모델일 것, 성능이 최고 수준일 것, 그리고 학습 데이터의 출처가 명확할 것. 엔비디아의 Nemotron이 나오기 전까지는 이 세 조건을 모두 만족하는 선택지가 없었다는 설명입니다.

세 번째 조건은 특히 한국 기업에도 그대로 적용됩니다. 값이 싸다는 이유로 출처가 불투명한 오픈 모델을 제품에 얹으면, 나중에 고객사 보안 심사나 공공 조달 단계에서 설명할 수 없는 항목이 생깁니다. 모델 선택은 성능 비교표가 아니라 ‘나중에 설명할 수 있는가’의 문제로 바뀌고 있습니다.

고객 데이터를 한 줄도 쓰지 않은 학습

Koa의 후처리 학습에는 세일즈포스 고객의 실제 데이터가 전혀 사용되지 않았습니다. 대신 가상의 고객센터 환경을 만들어 합성 데이터를 생성했습니다. 화가 난 고객이 전화를 거는 상황, 계약을 마무리하려는 영업 담당자의 대화까지 시뮬레이션해 학습 데이터로 썼다는 것입니다. 모델이 고객 데이터를 학습하지 않았으니 다른 고객에게 유출할 경로 자체가 없다는 논리입니다.

진짜 문제는 성능이 아니라 청구서였다

챗봇과 에이전트의 결정적 차이

챗봇은 질문 하나에 답변 하나를 만듭니다. 에이전트는 다릅니다. 요청 하나가 계획 수립, 자료 검색, 도구 호출, 검증, 재시도로 쪼개지고 그 모든 반복이 토큰으로 과금됩니다. 사용자는 답변 하나를 보지만 청구서에는 그 전체 루프가 찍힙니다. 도입 초기에 비용 추정이 크게 빗나가는 이유가 여기 있습니다.

골드만삭스는 2026년부터 2030년까지 토큰 소비량이 24배 늘어 월 120경 토큰 규모에 이를 것으로 내다봤습니다. 사람이 질문을 더 많이 해서가 아니라, 상시 가동되는 기업용 에이전트가 늘기 때문입니다. 같은 분석은 냉정한 계산도 덧붙였습니다. 작업당 토큰 사용량이 20배로 늘고 단가가 75% 떨어져도 총비용은 5배로 늘어납니다.

Writer의 52%, 그리고 더 중요한 41%

Writer는 새 모델 Palmyra X6와 함께 에이전트 운영비 평균 52% 절감, 속도 48% 개선을 발표했습니다. 그런데 이 회사가 같이 공개한 연구에서 더 눈여겨볼 숫자는 따로 있습니다. 모델을 바꾸지 않고 ‘하네스’라 부르는 오케스트레이션 계층만 재설계했을 때 비용이 41% 줄었고, 이 효과는 앤트로픽과 오픈AI 모델을 포함해 테스트한 모든 모델에서 동일하게 나타났습니다.

즉 절감의 상당 부분은 ‘어떤 모델을 쓰느냐’가 아니라 ‘그 모델을 어떻게 태우느냐’에서 나왔다는 뜻입니다. 맥락을 어떻게 잘라 넣는지, 작업을 묶어서 보내는지, 하위 에이전트에 언제 넘기는지가 모델 교체보다 큰 변수였습니다. 모델 벤치마크 점수를 비교하느라 몇 주를 쓴 조직이라면 우선순위를 다시 볼 필요가 있습니다.

우리 회사는 지금 무엇을 점검해야 하나

비용 구조부터 다시 그리기

첫째, 워크플로별로 토큰 사용량을 분리해 보십시오. 어떤 업무가 비용을 끌어올리는지 모르면 어떤 협상도 시작할 수 없습니다. 둘째, 전 업무를 최고 성능 모델에 태우고 있다면 지금 멈추십시오. 요약, 분류, 추출처럼 반복적이고 판단 여지가 적은 작업은 작은 모델로 충분합니다. 셋째, 모델 교체 전에 맥락 관리와 호출 구조부터 손보십시오. 같은 모델로도 절반을 줄일 수 있습니다.

오픈 모델이 항상 싸지는 않습니다

Nous Research가 19개 모델을 비교한 연구에 따르면, 오픈웨이트 모델은 같은 문제를 푸는 데 폐쇄형 모델보다 1.5~4배 많은 토큰을 씁니다. 단순 지식 질문에서는 최대 10배까지 벌어졌습니다. 토큰 단가가 낮아도 사용량이 많으면 질의당 비용은 오히려 비싸질 수 있다는 의미입니다. “오픈 모델로 바꾸면 싸진다”는 가정은 반드시 자사 데이터로 검증한 뒤에 받아들여야 합니다.

통제권이라는 또 하나의 변수

Writer의 제품 총괄은 자체 모델을 만든 이유를 비용이 아니라 통제권으로 설명했습니다. 외부 랩이 모델을 갑자기 단종해도, 어떤 데이터로 학습했는지 답을 요구받아도 스스로 통제할 수 없다는 것입니다. 실제로 모델 버전 하나가 사라지면 그 위에 얹은 프롬프트와 평가 기준이 함께 흔들립니다. 중소 조직이 모델을 직접 만들 수는 없어도, 최소한 특정 모델에 종속되지 않도록 추상화 계층을 두고 대체 경로를 확보해 두는 일은 지금 당장 가능합니다.

관련 글

• 880조 잭팟, 근데 현금이…
• 싼 맛에 쓴 AI, 하필 미국이…
• Anthropic Just Revealed Who Actually Builds Claude Now
• Four AI Models Shipped in One Week. Spending Fell Anyway.
• 코딩 에이전트 176번 돌려보니

출처

1. TechCrunch — Salesforce and Nvidia’s new reasoning model is everything the AI labs should fear (2026.09.15)
2. VentureBeat — Writer says its new Palmyra X6 model cuts AI agent costs by 52% as token spending surges (2026.08.13)
3. VentureBeat — That ‘cheap’ open-source AI model is actually burning through your compute budget (Nous Research 토큰 효율 연구)