AI에 3600조 붓고도 절반은…

AI 투자 대비 성과(ROI) 격차를 보여주는 기업 회의실과 상승 차트 이미지
AI 투자 대비 성과(ROI) 격차를 보여주는 기업 회의실과 상승 차트 이미지
TL;DR
  • 2026년 전 세계 AI 지출은 2조 5,900억 달러(약 3,600조 원), 전년 대비 47% 급증한다고 가트너가 전망했다.
  • 그러나 최고공급망책임자(CSCO)의 55%는 AI 투자의 수익(ROI)을 여전히 명확히 모른다고 답했다.
  • 돈은 인프라와 벤더에 쏠리고, 기업은 ‘전술적 개선’에 머물러 파괴적 성과로 이어지지 못한다는 것이 핵심 진단이다.
  • 변화관리를 ‘적정 규모화’해 사업 성과에 정렬한 조직은 2030년까지 AI ROI를 2배로 끌어올린다는 예측이 나왔다.

역사상 가장 많은 돈이 AI로 흘러 들어가고 있다. 그런데 정작 그 돈을 쓰는 경영진 상당수는 “그래서 남는 게 뭐냐”는 질문에 답하지 못한다. 2026년 여름, AI를 둘러싼 가장 불편한 진실은 기술의 한계가 아니라 ‘성과 입증의 실패’다. 예산은 사상 최대인데, 확신은 사상 최저에 가깝다.

3,600조 원, 그런데 절반은 “잘 모르겠다”

가트너는 2026년 전 세계 AI 지출이 2조 5,900억 달러에 이를 것으로 내다봤다. 전년 대비 47% 증가한 규모로, 원화로 환산하면 약 3,600조 원에 달한다. 한 해 동안 한 국가의 예산을 몇 개나 합쳐야 나올 법한 금액이 오직 AI 한 분야에 투입되는 셈이다.

문제는 지출 곡선과 확신 곡선이 정반대로 움직인다는 점이다. 같은 시기 가트너가 진행한 조사에서, 매출 2억 5,000만 달러 이상 기업의 최고공급망책임자 55%가 자사 AI 투자의 투자수익률(ROI)을 명확히 알지 못한다고 답했다. 흥미로운 건 이들 기업이 이미 디지털 투자 예산의 67%를 AI에 배정하고 있다는 사실이다. 돈은 이미 AI로 몰렸는데, 성과는 안갯속인 상황이다.

AI Biz Insider 분석 — “예산의 67%를 넣었지만 55%가 결과를 모른다”는 조합은, AI가 이제 선택이 아니라 ‘이미 지출된 매몰비용’이 됐음을 뜻한다. 도입 여부를 고민할 단계는 지났다. 지금 경영진에게 필요한 질문은 “할 것인가”가 아니라 “쓴 돈에서 무엇을 회수할 것인가”다.


돈은 인프라로, 성과는 어디로?

지출의 지도를 펼쳐 보면 왜 체감 성과가 낮은지 단서가 보인다. 가트너에 따르면 2026년 AI 지출에서 가장 큰 덩어리는 AI 인프라로, 전체의 45% 이상인 약 1조 4,315억 달러다. 서버, 반도체, 데이터센터, 냉각·전력 설비 같은 ‘기반 시설’이 돈의 절반 가까이를 빨아들인다. 그다음이 AI 서비스(5,855억 달러), AI 소프트웨어(4,532억 달러) 순이다.

지출은 벤더가, 고민은 기업이

가트너의 존데이비드 러브록 애널리스트는 “지금까지 AI 지출은 주로 기술 기업과 하이퍼스케일러가 주도했고, 정작 기업들은 아직 지출 잠재력을 제대로 발휘하지 않았다”며 “2026년이 그 변곡점이 될 것”이라고 말했다. 다만 그는 “현재 조직들은 AI로 파괴적 변화를 만들기보다, 효율과 생산성을 조금씩 높이는 전술적 이니셔티브에 머무는 경향이 있다”고 지적했다.

바로 이 지점이 ROI 실종의 출발점이다. 자동화 몇 개, 챗봇 하나, 문서 요약 기능처럼 ‘점진적 개선’에 그치면 비용은 분명히 나가지만 손익계산서에 찍히는 숫자는 미미하다. 실제로 2025년 MIT 연구진의 조사에서는 생성형 AI 파일럿의 대다수가 손익에 유의미한 영향을 주지 못한 것으로 보고되며 업계에 충격을 줬는데, 1년이 지난 지금도 구조적 원인은 크게 달라지지 않았다.

AI Biz Insider 분석 — 인프라와 라이선스에 돈을 쓰는 것은 ‘입장권’을 사는 일이지, 그 자체로 수익이 아니다. 파일럿을 여러 개 돌리는 것과, 하나의 업무 프로세스를 끝까지 AI로 재설계하는 것은 완전히 다른 게임이다. 성과를 내는 기업은 도구를 늘리지 않고, 대신 한 프로세스의 소유권을 명확히 한다.


ROI를 못 찾는 진짜 이유는 ‘기술’이 아니다

러브록 애널리스트는 “CIO들이 AI 투자의 가치를 입증하고 실질적 사업 성과를 보여주는 데 어려움을 겪는다”며 “AI 이니셔티브를 전략적 사업 목표와 정렬하는 것이 성공의 핵심 단계”라고 강조했다. 즉 모델 성능이 부족해서가 아니라, 무엇을 위해 도입했는지가 흐릿해서 성과가 사라진다는 얘기다.

‘변화관리 방법론’과 ‘변화 전략’의 차이

가트너는 이 실패의 핵심을 ‘변화 전략(change strategy)’의 부재로 짚는다. 개별 프로젝트를 굴리는 ‘방법론’은 많은 기업이 이미 갖췄지만, 한정된 변화관리 자원을 어떤 AI 과제에 몰아줄지 결정하는 ‘전략’은 대부분 없다는 것이다. 가트너의 로레인 개빈 애널리스트는 “조직들은 개별 이니셔티브의 변화 실행에는 점점 능숙해지고 있다”면서 “진짜 어려움은 가장 중요한 사업 성과를 뒷받침하도록 한정된 변화관리 자원을 ‘어디에’ 투입할지 정하는 것이며, AI가 그 결정을 그 어느 때보다 중요하게 만들고 있다”고 말했다.

AI 사용 사례가 조직이 감당할 수 있는 속도보다 빠르게 늘어나면서, 자원이 여기저기 분산되고 어느 것 하나 임계점을 넘지 못하는 ‘파편화된 도입’이 반복된다. 결국 파일럿은 화려하지만 프로덕션으로 넘어가지 못하고, 예산만 소진된 채 ROI는 미궁에 빠진다.

AI Biz Insider 분석 — 데이터 품질, 시스템 연동, 소유권 부재는 어느 기업이든 겪는 문제다. 차이는 ‘선택과 집중’에서 갈린다. 열 개를 반쯤 하는 회사보다, 한 개를 끝까지 밀어붙여 프로덕션에 올린 회사가 이긴다. AI 실패의 절반 이상은 기술이 아니라 우선순위의 문제다.


그래서 CEO는 지금 무엇을 해야 하나

가트너는 변화관리를 ‘적정 규모화(rightsize)’해 사업 성과에 정렬한 조직이, 낡은 일률적 방법론에 의존하는 조직보다 2030년까지 AI 이니셔티브에서 두 배의 ROI를 달성할 것으로 예측했다. 결론은 명확하다. AI 성과는 더 좋은 모델이 아니라 더 나은 ‘경영 규율’에서 나온다.

첫째, AI 변화관리를 별도의 전략 과제로 공식화해 기술 도입과 분리하지 말 것. 둘째, 변화관리 역량을 ‘희소 자원’으로 취급해 성과 잠재력이 가장 큰 소수의 과제에 집중 투입할 것. 셋째, 과제의 규모·속도·맥락에 따라 서로 다른 실행 방식을 조합하는 ‘컴포저블’ 접근을 택할 것. 넷째, 사업 감각과 리스크 관리 역량을 갖춘 변화 리더를 육성할 것. 가트너가 제시한 이 네 가지는 대기업뿐 아니라, 예산이 빠듯한 중소기업일수록 더 절실한 원칙이다.

AI Biz Insider 분석 — 자원이 적은 기업에는 오히려 기회다. 대기업이 열 갈래로 흩어질 때, 한 프로세스에 집중해 명확한 성과를 만들면 투자 대비 회수 속도에서 앞설 수 있다. 다음 분기 예산 회의에서 던져야 할 질문은 “AI 도구를 몇 개 더 살까”가 아니라 “어떤 한 가지 업무를 끝까지 바꿀까”여야 한다.

관련 글

출처

  1. Gartner, “Gartner Forecasts Worldwide AI Spending to Grow 47% in 2026” (2026.05.19)
  2. Gartner, “Gartner Survey Finds Majority of Chief Supply Chain Officers Unclear on AI Investment Returns” (2026.08.05)

AI Biz Insider · AI 비즈니스 · aibizinsider.com


AI Biz Insider에서 더 알아보기

구독을 신청하면 최신 게시물을 이메일로 받아볼 수 있습니다.

코멘트

댓글 남기기

AI Biz Insider에서 더 알아보기

지금 구독하여 계속 읽고 전체 아카이브에 액세스하세요.

계속 읽기

AI Biz Insider에서 더 알아보기

지금 구독하여 계속 읽고 전체 아카이브에 액세스하세요.

계속 읽기