- AI 투자금이 ‘모델 학습’에서 ‘추론(인퍼런스)’으로 급격히 이동 중이다.
- 추론 전문 기업 베이스텐은 5개월 만에 몸값이 2.6배 뛰며 15억 달러(약 2조원)를 유치, 기업가치 130억 달러를 기록했다.
- 추론은 실제 AI 시스템 생애비용의 80~90%를 차지하며, 2026년 전체 AI 연산의 3분의 2가 여기에 쓰인다.
- 중소기업은 ‘모델을 직접 만드는’ 대신, 기성 모델을 얼마나 싸고 빠르게 ‘돌리느냐’가 경쟁력이 된다.
불과 1년 전만 해도 AI 업계의 화두는 “누가 더 큰 모델을 만드느냐”였습니다. 그런데 2026년 여름, 돈의 흐름이 완전히 뒤집혔습니다. 투자자들은 이제 모델을 ‘만드는’ 곳이 아니라, 만들어진 모델을 실제로 ‘돌리는’ 곳에 수십억 달러를 쌏아부고 있습니다. 이 변화가 왜 사장님의 IT 예산과 직결되는지 짚어보겠습니다.
5개월 만에 몸값 2.6배, 추론에 돈이 몰린다
베이스텐, 2조원을 빨아들이다
AI 추론 인프라 스타트업 베이스텐(Baseten)은 2026년 6월, 알티미터·컴빗션·스파크캐피탈이 주도한 시리즈F에서 15억 달러(약 2조원)를 유치했습니다. 기업가치는 110억~130억 달러. 놀라운 건 속도입니다. 불과 5개월 전인 1월, 시리즈E에서 50억 달러였던 몸값이 약 160% 뛰었습니다. 이 회사는 하루 10억 건 이상의 추론 요청을 18개 클라우드, 87개 클러스터에서 처리하며 매출이 1년 새 20배 성장했습니다.
경쟁사도 하루 10조 토큰
라이벌 파이어욭스 AI(Fireworks AI) 역시 연매출 약 8억 달러, 하루 10조 토큰 이상을 처리하며 150억 달러 기업가치를 노리고 있습니다. 모델을 ‘만드는’ OpenAI·Anthropic이 2분기 벤처 투자금의 43%를 가져간 한편, 그 아래층인 ‘추론 서빙’ 시장이 새로운 격전지로 떠오른 것입니다.
AI Biz Insider 분석 — 골드러시에서 돈을 번 건 금을 칈 사람이 아니라 곡광이와 청바지를 판 사람이었습니다. 지금 추론 기업들이 바로 그 ‘곡광이’입니다. 모델 성능 경쟁이 상향 평준화될수록, 그 모델을 싸게 돌려주는 인프라의 가치가 올라갑니다.
왜 ‘학습’이 아니라 ‘추론’인가
진짜 돈은 ‘돌리는 데’서 나간다
모델 학습은 한 번 끝나면 그만이지만, 추론은 사용자가 쓰는 내내 계속 비용이 발생합니다. 업계 추산으로 추론은 실제 운영되는 AI 시스템 생애비용의 80~90%를 차지합니다. 학습에 100억을 썬어도, 서비스가 성공하면 그 이상을 ‘돌리는 데’ 쌏아부게 된다는 뜻입니다. 2025년 전체 AI 연산의 절반이던 추론 비중은 2026년 3분의 2로 뛰었습니다.
“내 모델 만들기”가 저물는 이유
기성 사전학습 모델의 성능이 충분히 좋아졌습니다. RAG(검색증강생성)와 MCP 같은 기술을 붙이면 대부분의 기업 업무를 커버합니다. 굳이 수십억을 들여 자체 모델을 학습시킬 이유가 사라진 것이죠. 기업들의 관심사가 ‘실험용 챗봇’에서 ‘실제 서비스에 투입되는 에이전트’로 넘어가면서, 승부처는 모델 크기가 아니라 속도·안정성·비용으로 이동했습니다.
AI Biz Insider 분석 — “가장 크고 복잡한 모델을 만든 회사”가 아니라 “AI를 가장 빠르고 저렴하게 유지한 회사”가 이깁니다. 이는 자본이 부족한 중소기업에게 오히려 기회입니다. 거대 모델 경쟁에 낌 필요 없이, 잘 만들어진 모델을 영리하게 운영하는 쪽으로 붙으면 됩니다.
중소기업 사장님을 위한 3가지 시사점
1. 자체 모델 개발은 웬만하면 하지 마라
‘우리 회사 전용 AI를 처음부터 학습시키자’는 제안이 들어오면 한 번 더 따져보세요. 대부분의 업무는 기성 모델 + RAG로 충분하고, 비용과 시간은 10분의 1도 안 듭니다. 자체 학습이 정말 필요한 경우는 극히 일부의 규제·보안 영역뿿입니다.
2. ‘토큰 비용’을 KPI로 관리하라
AI 서비스를 붙이면 사용량에 비례해 추론 비용이 매달 나갑니다. 초기엔 작아 보여도 사용자가 늘면 눈덩이처럼 커집니다. 요청당 토큰 소모량, 캐싱 활용률, 모델 등급별 단가를 처음부터 지표로 잡아두면 나중에 청구서를 보고 놀랄 일이 없습니다.
3. 인프라는 사지 말고 빌려라
베이스텐 같은 추론 전문 서비스가 존재하는 이유는, 대부분의 기업이 직접 GPU를 사고 운영하는 게 비효율적이기 때문입니다. 트래픽이 안정적으로 검증되기 전까지는 서버리스·매니지드 추론을 빌려 쓰고, 규모가 커진 뒤에 자체 인프라를 검토하는 순서가 안전합니다.
AI Biz Insider 분석 — 결국 2026년 AI 전략의 핵심은 “무엇을 만들까”가 아니라 “무엇을 얼마에 돌릴까”입니다. 모델은 빌리고, 데이터와 운영 노하우로 차별화하세요. 그것이 자본 규모와 무관하게 통하는 유일한 해자입니다.
관련 글
- AI에 3600조 붓고도 절반은…
- AI 켜둔 회사부터 뚫렸다…
- Cloudflare Just Made Chromium Look Bloated
- Google Maps Just Quietly Ate Three of Your Apps
출처
- TechCrunch — AI inference startup Baseten reportedly raising $1.5B
- Techstrong.ai — The Inference Shift
- Computerworld — CES 2026: AI compute shifts from training to inference
AI Biz Insider · AI 비즈니스 · aibizinsider.com
댓글 남기기