- Claude Code는 프롬프트를 읽기도 전에 약 32,800토큰을 전송한다 — OpenCode(약 6,900)의 4.7배
- 2026년 AI 추론은 전체 AI 컴퓨팅의 약 3분의 2, 배포된 모델 생애 비용의 80~90%를 차지한다
- GCC는 1987년 약 10만 줄에서 2015년 1,400만 줄로 — 이제 코드 전체를 이해하는 사람은 없다
숫자 하나로 시작하겠습니다. 32,800 대 6,900. 같은 모델에게 같은 일을 시켰을 때, 두 AI 코딩 도구가 ‘프롬프트를 읽기도 전에’ 서버로 밀어 넣은 토큰 수입니다. 무려 4.7배 차이죠. 오늘 GeekNews 상위권을 채운 세 편의 글은 주제가 제각각으로 보이지만, 결국 하나의 질문으로 모입니다. 우리가 매일 쓰는 AI 도구는 보이지 않는 곳에서 얼마를, 어떻게 태우고 있으며, 그 속에서 개발자는 무엇을 붙잡아야 하는가. 토큰의 첫 관문부터 데이터센터의 전력, 그리고 1,400만 줄짜리 코드베이스 앞에 선 우리의 태도까지 차례로 따라가 보겠습니다.
프롬프트를 읽기도 전에, 3만 토큰이 사라진다
격차의 정체는 ‘도구 스키마’였다
systima.ai는 코딩 도구와 모델 API 사이에 로깅 프록시를 심어, 실제로 오간 요청을 바이트 단위로 측정했습니다. 같은 머신, 같은 모델(Sonnet 4.5)에게 “Reply with exactly: OK”라는 22자 프롬프트를 던졌을 때, 첫 요청의 고정 오버헤드는 Claude Code가 약 32,800토큰, OpenCode가 약 6,900토큰. 4.7배였습니다. Fable 5에서는 3.3배로 줄었지만 방향은 같았죠. 격차의 대부분은 도구 정의에서 나왔습니다. Claude Code는 27개 도구 스키마에 약 24,000토큰을, OpenCode는 10개 도구에 약 4,800토큰을 썼습니다. 도구를 전부 꺼도 시스템 프롬프트만 각각 6,500토큰과 2,000토큰이 남았고요. 이 33,000토큰은 코드가 단 한 줄도 들어오기 전에 이미 20만 토큰 컨텍스트 창의 약 6분의 1을 차지합니다.
실제 업무 환경에서는 숫자가 더 커집니다. 72KB짜리 명령 파일 하나가 요청마다 20,000토큰 이상을 더하고, 소형 MCP 서버는 하나당 1,000~1,400토큰을 얹습니다. 이렇게 쌓이면 첫 요청만으로 75,000~90,817토큰에 이를 수 있습니다. 작업을 하위 에이전트 둘에게 분산하자 직접 실행 시 121,000토큰이던 사용량이 513,000토큰으로 4.2배 뛰었고, 같은 요약 작업에서 Claude Code의 캐시 쓰기는 OpenCode의 5.9~54배에 달했습니다.
Tech Insight — 비용을 좌우하는 건 ‘어떤 모델을 쓰느냐’만이 아닙니다. 도구 스키마, 명령 파일, MCP, 하위 에이전트 같은 실행 환경(하네스)이 청구서를 조용히 결정합니다. 팀의 AI 도구가 API 경계에서 실제로 무엇을 보내는지 한 번쯤 계측해 볼 가치가 있습니다. 특히 눈여겨볼 건 측정 방식입니다. 연구진은 요청·응답 185건을 SHA-256 해시 체인으로 남겨 무결성을 검증했는데, 이는 EU AI Act 12조가 요구하는 감사 로깅과 같은 구조입니다. 토큰 회계가 곧 규제 대응이 되는 시대라는 신호죠.
그 토큰은 데이터센터에서 어디로 흘러가는가
15단계를 지나며 켜지는 7,250억 달러
datagravity.dev는 요청 하나가 토큰화부터 API 게이트웨이, 라우팅, KV 캐시, GPU와 HBM, NVLink와 광학 부품을 거쳐 응답으로 돌아오기까지의 15단계를 해부합니다. 배경 수치가 묵직합니다. 2026년 추론은 전체 AI 컴퓨팅의 약 3분의 2까지 커졌고(2023년엔 3분의 1), 배포된 모델 생애 비용의 80~90%를 차지합니다. Google은 2026년 5월 한 달에 3.2천조 개의 토큰을 처리한다고 밝혔는데, 1년 전(월 480조)의 7배입니다. 4대 하이퍼스케일러의 2026년 설비투자는 약 7,250억 달러(전년 대비 +77%)이며, 이 중 60% 이상이 칩이 아니라 전력·냉각·건물에 들어갑니다.
이 비용을 그나마 감당 가능하게 만드는 건 일련의 최적화입니다. 지속 배치와 PagedAttention은 vLLM 처리량을 2~4배로 끌어올리고(페이징이 없으면 메모리의 60~80%가 낭비됩니다), 프롬프트 캐싱은 반복 입력 비용을 최대 90%, 긴 프롬프트 지연을 약 85% 줄입니다. FP8·FP4 양자화는 70B 모델을 140GB에서 70GB로 압축하고, 추측 디코딩(EAGLE-3)은 초안 토큰의 75% 이상을 채택하죠. 고정 품질 기준 비용은 해마다 약 200배씩 싸졌지만, 싸진 토큰이 더 많은 수요를 부르는 제본스 역설 탓에 총사용량은 오히려 폭증했습니다.
Tech Insight — 가치가 쌓이는 지점은 소프트웨어가 아니라 물리적 병목입니다. HBM 대역폭이 생성 속도의 상한을 정하고, NVLink 도메인·광학·전력이 희소 자원이 됩니다. 자본지출의 60% 이상이 전력과 건물이라면, 장기 승부처는 결국 ‘와트당 토큰 수’입니다. 돈의 흐름도 바뀌고 있습니다. 추론 플랫폼 Baseten의 연환산 매출은 3개월 만에 2억 달러에서 6억 달러로(전년 대비 약 1,900%) 뛰었고, Qualcomm은 컴파일러 기업 Modular를 약 39억 달러에 인수했습니다. AI로 무언가를 만든다면, 이제 제공업체 선택(캐싱·배치·버전 고정·지연 SLA)이 모델 선택만큼 큰 비용 레버입니다.
코드를 다 이해하지 못해도 괜찮은 이유
1,400만 줄 앞에서 ‘완벽한 이해’라는 환상
세 번째 글의 출발점은 단순합니다. 수천만 줄짜리 시스템을 통째로 머릿속에 담을 수 있는 사람은 없다는 것. GCC만 해도 1987년 약 10만 줄에서 2015년 1,400만 줄 이상으로 불어났습니다. 저자는 Peter Naur의 1985년 고전 ‘Programming as Theory Building’을 소환합니다. 프로그래머의 진짜 산출물은 코드가 아니라 프로그램에 대한 ‘이론(이해)’이며, 팀이 그 이해를 잃으면 차라리 폐기하고 새로 짜라는 주장이죠. 하지만 사용자와 수천 개의 예외가 얽힌 대형 시스템은 처음부터 다시 만들 수 없습니다. 현실의 해법은 하나의 처리 흐름을 끝까지 파악한 뒤, 조심스럽게 주변으로 이해를 넓혀가는 것입니다.
여기서 LLM은 양날의 검입니다. 상세한 정신 모델을 세우는 일은 방해하지만, 부분적 이해는 빠르게 만들어 줍니다. 저자의 결론이 핵심입니다. 코드 이해는 가독성·유지보수성·정확성과 나란히 놓인 ‘여러 엔지니어링 가치 중 하나’일 뿐, 절대 기준이 아니라는 것. 속도, 법적 준수, 조직의 요구를 위해 완전한 이해를 양보해야 할 때도 있습니다. 강한 엔지니어는 완벽한 이해를 가진 누군가가 답을 줄 때까지 기다리지 않고, 지금 가진 정보로 가장 근거 있는 판단을 내린 뒤 그 결과에 대응합니다.
Tech Insight — AI 코딩 시대의 진짜 역량은 ‘모든 것을 이해하기’가 아니라 ‘지금 건드리는 부분의 쓸 만한 이론을 빠르게 세우고, 그 경계를 아는 것’입니다. 팀을 이끄는 입장이라면 ‘완전한 이해’를 통과 조건으로 요구하는 대신, 테스트(사라진 문제 정의에 가장 가까운 대체물)와 국소적 추론(모듈화·순수 함수), 그리고 하나의 흐름을 깊게 가르치는 온보딩에 투자하는 편이 낫습니다.
관련 글
- Claude Code 및 Codex 설정 변경으로 토큰을 절약하는 방법
- Tokenomics: 에이전트형 SW 엔지니어링에서 토큰이 어디에 쓰이는지 정량화
- 달러당 성능이 더 빠르고 저렴해지고 있음
- 대규모 기존 코드베이스에서 엔지니어들이 저지르는 실수
- 이해 가능한 소프트웨어를 향하여
출처
- systima.ai — Claude Code vs OpenCode: 토큰 오버헤드 측정 (GeekNews 경유)
- datagravity.dev — How an AI Token Travels Through a Datacenter
- seangoedecke.com — In Defense of Not Understanding Your Codebase
AI Biz Insider · Tech Digest · aibizinsider.com
댓글 남기기