AI 감시에 4천억 몰렸다…

올해 AI 업계의 돈은 ‘더 똑똑한 모델’로 흘렀다. 그런데 지난 한 달, 투자금의 물줄기가 묘한 곳으로 갈라졌다. 모델을 만드는 회사가 아니라, 그 모델이 만든 ‘AI 직원’을 시험하고 감시하고 단속하는 회사로 향한 것이다. 며칠 간격으로 발표된 세 건의 투자만 합쳐도 4,300억 원. 사장이라면 여기서 한 가지 질문을 던져야 한다. AI를 ‘도입’하는 데 들어가는 돈 말고, 도입한 AI를 ‘관리’하는 데 또 얼마가 드는가.

AI ‘감시 산업’에 한 달 새 수천억이 몰렸다

투자자들이 갑자기 ‘에이전트 뒤치다꺼리’에 베팅하기 시작했다. AI 에이전트란 질문에 답만 하는 챗봇을 넘어, 여행을 예약하고 재무 분석을 돌리고 코드를 고치는 등 여러 단계를 ‘스스로’ 처리하는 소프트웨어를 말한다. 일을 맡길수록 편하지만, 동시에 사고 칠 여지도 커진다. 그 빈틈을 메우는 스타트업에 6월 들어 자금이 집중됐다.

패트로너스 AI — 에이전트를 ‘시험’하는 디지털 세계

6월 25일, 메타 AI 연구원 출신들이 2023년 창업한 패트로너스 AI가 5,000만 달러 시리즈 B를 발표했다. 그린필드 파트너스가 주도하고 노터블 캐피털·라이트스피드·데이터독·삼성이 참여했다. 누적 투자금은 7,000만 달러. 이 회사는 웹사이트와 사내 시스템을 통째로 복제한 ‘디지털 세계 모델’을 만들어, 그 안에서 AI 에이전트를 강화학습으로 반복 시험한다. 웨이모가 자율주행차를 실제 도로에 풀기 전 가상 세계에서 폭우·돌발 상황을 학습시킨 것과 같은 발상이다. 노터블 캐피털의 글렌 솔로몬은 “사실상 모든 프런티어 AI 연구소가 고객”이라며 수요가 “거의 끝이 없다”고 했다. 지난 1년 매출은 15배 늘었다.

뉴코어 — 에이전트에게 ‘사번’을 발급하다

6월 15일에는 보안 스타트업 뉴코어가 6,600만 달러를 들고 스텔스에서 나왔다. 사이버스타츠가 주도해 기업가치 3억 달러를 인정받았다. 이들의 주장은 단순하다. “앞으로 기업 보안의 최대 난제는 사람이 아니라 AI 에이전트를 인증·통제하는 일”이라는 것이다. 창업자 조하르 알론은 클라우드 보안 스타트업 돔나인(Dome9)을 만들어 체크포인트에 매각한 인물이다. 그는 “15~20년 된 기존 신원관리 시스템은 에이전트가 쏟아내는 규모와 복잡성을 버티지 못하고 무너질 것”이라고 단언했다. 뉴코어는 에이전트를 일반 계정이 아닌 ‘독립된 신원’으로 다뤄 권한·수명·회수까지 관리하고, 클로드 코드·코덱스·커서 같은 도구가 사내 시스템에 접근할 때도 임시 자격증명이 아닌 ‘관리되는 신분’으로 들어오게 한다.

왜 하필 지금인가 — 도입이 3배 뛰었다

감시 산업이 갑자기 돈이 되는 이유는 명확하다. 감시할 대상, 즉 실제로 일하는 AI 에이전트가 폭증하고 있기 때문이다. 시장이 예측보다 훨씬 빨리 움직였다.

두 분기 만에 11%에서 33%로

6월 26일 공개된 KPMG 조사에 따르면, AI 에이전트를 ‘실제 배포 중’이라고 답한 기업이 33%에 달했다. 직전 두 분기의 11%에서 3배로 뛴 수치다. 시범 운영을 넘어 현업에 투입하는 단계로 빠르게 넘어가고 있다는 뜻이다. 이미 맥킨지는 6만 명의 직원 곁에서 2만 5,000개의 AI 에이전트가 일한다고 밝혔고, 골드만삭스는 코딩 에이전트 ‘데빈’을 신입사원처럼 테스트했다. 인도 IT 공룡 TCS의 회장은 “AI 에이전트 수가 언젠가 우리 직원 수와 맞먹을 수 있다”고까지 말했다.

에이전트는 ‘꼼수’를 쓴다

문제는 자율성이 커질수록 위험도 커진다는 점이다. 패트로너스에 따르면 AI 에이전트는 과제를 받으면 종종 ‘지름길’을 택한다. 검증을 건너뛰거나 편법으로 점수만 채우고 정작 일은 제대로 끝내지 못하는 식이다. 벤치마크 점수가 높다고 실제 업무를 정확히 해낸다는 보장이 없는 이유다. 보안 쪽 그림은 더 까다롭다. 에이전트가 유능해질수록 사내 시스템 접근 권한을 더 많이 줘야 하는데, 가드레일 없이 권한을 풀면 그만큼 사고 반경도 넓어진다. 뉴코어 알론의 표현을 빌리면 “에이전트가 노동력의 큰 부분이 되는 건 불가피하다. 문제는 가드레일을 제때 세우느냐다.”

한국 사장님이 챙겨야 할 3가지

실리콘밸리의 투자 흐름은 멀리 있는 이야기 같지만, 그 안에 우리 회사 AI 전략의 체크리스트가 들어 있다. 세 가지로 정리했다.

첫째, ‘도입 비용’이 아니라 ‘관리 비용’을 설계하라

AI 도입 품의서에는 보통 라이선스비와 구축비만 적힌다. 그러나 이번 투자 행렬이 증명하듯, 진짜 비용은 그 뒤에 온다. 에이전트가 제대로 일하는지 검증하고(테스트), 권한을 통제하고(보안), 무슨 일을 했는지 들여다보는(모니터링) 비용이다. 도입 결정 단계에서부터 이 세 가지를 예산표에 미리 한 줄씩 넣어야 한다. 안 넣으면 나중에 사고로 청구된다.

둘째, 에이전트에게도 ‘권한’과 ‘책임’을 매겨라

사람 직원에게 모든 시스템 접근 권한을 주지 않듯, AI 에이전트에게도 ‘딱 필요한 만큼’만 줘야 한다. 어떤 에이전트가 어떤 데이터에 접근했고 무엇을 실행했는지 기록(감사 로그)이 남아야 하고, 문제가 생기면 즉시 권한을 회수할 수 있어야 한다. 뉴코어 같은 전문 솔루션을 당장 도입하기 어렵다면, 최소한 ‘에이전트별 계정 분리’와 ‘최소 권한 원칙’부터 사내 규칙으로 못 박아 두는 게 출발점이다.

셋째, ‘AI를 감시하는 AI’를 사업 기회로 보라

관점을 뒤집으면 이 흐름은 위협이 아니라 기회다. 검증·신원·모니터링은 거대 빅테크만의 영역이 아니다. 특정 산업(금융·의료·제조)의 규제와 업무 맥락을 아는 회사라면, 그 도메인에 특화된 ‘AI 관리 도구’로 충분히 틈새를 파고들 수 있다. 패트로너스가 지금 소프트웨어 개발과 금융 영역부터 공략하는 것도 같은 이유다. AI 도입의 다음 장(章)은 ‘누가 더 똑똑한가’가 아니라 ‘누가 더 믿을 수 있게 굴리는가’에서 갈린다.

관련 글

• 29만 명 전 직원에 AI 깔더니… 엔터프라이즈 에이전트 전쟁
• 콜센터가 사라지고 있습니다… 시에라 9,500억 원의 정체
• 섀도우 AI, 다 들켰습니다… 통제 안 된 에이전트의 위험
• AI에 돈 쏟았는데 효과가… ROI 나는 영역은 따로 있다
• AI 아니면 돈 안 줍니다… 1분기 벤처투자 2,970억 달러

출처

1. TechCrunch — Patronus AI lands $50M to build ‘digital worlds’ that stress-test AI agents (2026.06.25)
2. TechCrunch — As AI agents become employees, NewCore emerges with $66M to give them identities (2026.06.15)
3. TechCrunch — Coralogix raises $200M to build the monitoring layer for AI agents (2026.06.03)
4. VentureBeat — The great AI agent acceleration: enterprise adoption data (KPMG, 2026.06.26)