엔비디아가 긴장하기 시작했다…

AI 업계에서 ‘칩’은 곧 권력이다. 그리고 그 권력의 대부분을 엔비디아가 쥐어 왔다. 그런데 지난주, 그 구도에 처음으로 또렷한 금이 갔다. 오픈AI가 직접 만든 칩을 들고 나온 것이다. 단순한 신제품 발표가 아니다. AI로 돈을 버는 ‘비용 구조’ 자체를 바꾸겠다는 선언에 가깝다. 사장이라면 이 칩이 어떻게 생겼는지보다, 무엇을 바꾸는지를 봐야 한다.

9개월 만에 칩 하나, 무슨 일이 벌어졌나

6월 24일(현지시간) 오픈AI는 브로드컴과 공동 설계·생산한 첫 자체 칩 ‘할라페뇨’를 공개했다. 추론(inference) 전용 프로세서다. 추론이란 이미 학습을 마친 AI 모델이 사용자 명령에 답을 내놓는 과정으로, 챗봇·코딩 도우미·에이전트가 실제로 ‘일하는’ 단계다. 두 회사의 파트너십은 2025년 10월 공식화됐고, 약 8개월 만에 실물 칩으로 이어졌다.

할라페뇨란 무엇인가

할라페뇨는 EUV 노광 한계(약 858㎟)에 육박하는 약 840㎟의 거대 ASIC다. 하나의 대형 연산 칩렛 주위를 6개의 HBM 메모리가 둘러싼 구조로, 값싼 일반 D램 대신 고대역폭 메모리를 택했다. 이유는 분명하다. 추론, 특히 추론형(reasoning)·에이전트 작업은 높은 처리량과 낮은 지연을 동시에 요구하기 때문이다. 오픈AI는 실시간 코딩 모델을 돌릴 때의 ‘낮은 운영 비용’을 특히 강조했다.

왜 ‘9개월’이 충격인가

보통 고성능 ASIC는 설계부터 테이프아웃(양산용 설계 확정)까지 1~2년이 걸린다. 할라페뇨는 이 단계를 9개월 만에 통과했다. 업계가 주목한 건 그 속도의 비결이다. 오픈AI는 자사 AI 모델이 칩 설계 과정 자체를 가속했다고 밝혔다. 그렉 브록만 사장은 “모델이 개발을 앞당긴 정도가 우리도 놀라울 정도였다”고 말했다. AI가 AI 칩을 더 빨리 만드는 자기강화 루프가 현실이 된 셈이다. 양산 배치는 2026년 말부터 시작된다.

진짜 이야기는 ‘추론 비용’이다

많은 매체가 ‘엔비디아 대항마’라는 제목을 달았지만, 핵심은 따로 있다. 바로 단위 경제(unit economics)다. AI 서비스는 사용자가 한 번 질문할 때마다 추론 비용이 발생한다. 사용량이 늘수록 비용도 함께 늘어나는 구조다. 엔비디아 GPU는 강력하지만 비싸고 전력도 많이 먹는다. 추론 비용을 단 몇 퍼센트만 낮춰도, 수억 명이 쓰는 서비스에서는 그 차이가 곧바로 손익으로 직결된다.

추론 비용이 곧 마진이다

오픈AI가 전력당 성능(performance-per-watt)을 전면에 내세운 이유가 여기에 있다. 같은 전기로 더 많은 답을 처리하면 토큰당 원가가 내려간다. 챗GPT·코덱스 같은 제품을 대규모로 운영하는 오픈AI에게 추론 원가는 곧 생존의 문제다. 학습용 고성능 작업은 여전히 엔비디아에 맡기더라도, 가장 자주 반복되는 추론만 자체 칩으로 돌려도 비용 곡선은 크게 꺾인다.

‘전체 스택’이라는 해자

오픈AI는 이번 발표에서 의미심장한 표현을 썼다. “우리는 모델만 만드는 게 아니라 그 아래 인프라—칩 아키텍처, 커널, 메모리, 네트워킹, 스케줄링, 배포까지—를 설계한다.” 칩부터 서비스까지 한 줄로 꿰어 같은 목표, 즉 더 빠르고 더 안정적이고 더 싸게에 맞춰 최적화하겠다는 뜻이다. 브로드컴 CEO 혹 탄은 “다세대 로드맵의 시작일 뿐”이라며 기가와트급 데이터센터 구축을 예고했다. 수직통합은 한 번 자리 잡으면 경쟁자가 따라잡기 어려운 해자가 된다.

엔비디아 독점에 균열, 한국 기업은?

할라페뇨는 혼자가 아니다. 구글은 이미 TPU를, 아마존은 트레이니엄을 수년째 자체 운영해 왔다. 애플과 스페이스X도 자체 칩 설계에 뛰어들었다. ‘AI 가속기’를 직접 만들어 단일 공급사 리스크를 줄이려는 흐름이 빅테크 전반으로 번지는 것이다. 엔비디아의 학습 시장 지배력은 당분간 견고하겠지만, 가장 돈이 되는 ‘추론’ 시장에서는 경쟁이 본격화됐다.

빅테크의 ‘탈(脫)엔비디아’ 행렬

흥미로운 건 이들이 엔비디아를 완전히 버리는 게 아니라는 점이다. 학습은 엔비디아, 추론은 자체 칩. 작업을 쪼개 최적의 칩에 배분하는 ‘멀티 실리콘’ 전략이다. 오픈AI는 공급만 충분하면 할라페뇨를 외부에도 판매할 수 있다는 가능성까지 내비쳤다. 추론 칩 시장 자체가 새로운 격전지로 떠오른 셈이다.

한국 기업이 챙겨야 할 3가지

첫째, 메모리 기회다. 할라페뇨는 HBM을 6개나 얹었다. 추론 칩 경쟁이 격화될수록 HBM 수요는 늘고, 이는 SK하이닉스·삼성전자에 직접적인 호재다. 둘째, 벤더 종속(lock-in) 점검이다. 우리 회사 AI 비용이 특정 클라우드·모델·칩에 묶여 있다면 가격 협상력은 그만큼 약하다. 셋째, 추론 비용 설계다. AI 도입의 성패는 ‘도입 여부’가 아니라 ‘반복 비용을 어떻게 관리하느냐’에서 갈린다. 사용량이 늘었을 때 원가가 어떻게 움직이는지부터 사업 계획표에 넣어야 한다.

관련 글

• 구글이 돈이 없다고 합니다… 110조원 조달의 진짜 이유
• 월가가 새 석유를 찾았습니다… GPU 선물시장의 등장
• AI에 돈 쏟았는데 효과가… ROI 나는 영역은 따로 있다
• 29만 명 전 직원에 AI 깔더니… 엔터프라이즈 에이전트 전쟁
• AI 아니면 돈 안 줍니다… 1분기 벤처투자 2,970억 달러

출처

1. TechCrunch — OpenAI unveils its first custom chip, built by Broadcom (2026.06.24)
2. Tom’s Hardware — Broadcom and OpenAI unveil custom-built Jalapeño inference processor (2026.06.24)
3. VentureBeat — OpenAI unveils first custom AI inference chip, Jalapeño, with Broadcom (2026.06.24)