AI로 빨라졌다는 그 말이…

개발자당 코드 줄 수가 40% 늘었다고 생산성이 오른 게 아닐 수 있다. 숙련된 오픈소스 개발자에게 AI 도구 접근권을 줬더니 과제 완료 시간이 오히려 19% 증가했다는 무작위 대조 시험도 있고, 30만 개 이상 AI 작성 커밋의 15% 이상이 품질 문제를 남겼다는 분석도 나왔다. 동시에 시장은 ‘제품의 시대’에서 ‘두뇌의 시대’로 이동 중이고, Microsoft가 다시 띄운 mimalloc은 jemalloc 대비 2.5배 빠른 성능으로 인프라 레이어를 흔든다. 오늘 개발팀이 점검할 3가지를 정리했다.

AI 코딩 도구의 생산성을 우리는 잘못 재고 있다

코드 줄 수, 수락률, 도입률 — 활동량은 산출물이 아니다

Software Carpentry 창립자 Greg Wilson은 AI 보조 코딩의 가치를 평가하는 방식 자체가 어떻게 빗나가는지 12가지로 정리했다. 핵심은 단순하다. 측정하기 쉬운 값이 중요한 값을 대체하지 못한다. LLM 도입 후 개발자당 코드 줄 수가 40% 늘어난 팀은 생산성이 아니라 ‘장황함’을 측정했을 수 있고, 뒤엉킨 2000줄을 200줄로 줄이는 개선은 줄 수 지표에서는 손실로 잡힌다.

McKinsey가 2023년 제안한 커밋·PR·티켓 수 측정은 Goodhart의 법칙에 그대로 걸린다. 측정값이 목표가 되는 순간 더 이상 좋은 측정값이 아니다. 커밋 수를 추적하면 커밋이 잘게 쪼개지고, 티켓 수를 추적하면 티켓이 분해된다. GitHub Copilot 400명 연구는 평균 수락률 33%와 높은 만족도를 확인했지만, 수락된 코드의 정확성이나 보안성은 추적하지 않았다.

실험 설계는 더 큰 문제다. 자주 인용되는 GitHub 연구는 사용자가 비사용자보다 55% 빠르게 과제를 완료했다고 보고했지만, 과제는 JavaScript로 HTTP 서버를 처음부터 구현하는 90분짜리 그린필드 작업이었다. 반면 METR의 숙련된 오픈소스 개발자 무작위 대조 시험에서는 AI 도구 접근권을 받은 그룹의 과제 완료 시간이 19% 증가했다. 더 놀라운 점은, 참여자들이 사후에도 자기가 더 빨랐다고 잘못 추정했다는 것이다. 30만 개 이상 AI 커밋 분석에서는 15%가 품질 문제를 도입했고, 그중 4분의 1은 코드베이스에 장기적으로 남았다.

제품의 시대는 끝났다 — 구매자는 이제 ‘두뇌’를 산다

소프트웨어 한계비용이 0이 될 때, 차이를 만드는 것은 판단의 품질

소프트웨어의 한계 생산비용이 0에 가까워지고 카테고리별 도구 수가 폭증해도 가격이 죽음의 나선으로 떨어지지 않는 이유는, 구매 동기가 바뀌었기 때문이다. 이제 사람들은 ‘스스로 만들 수 없어서’ 구매하지 않는다. 만들 시간이 없거나 운영·유지보수할 의지가 없어서 산다. 그래서 도구 선택의 기준은 기능이 아니라 ‘소프트웨어를 운영하는 사람들의 판단력’으로 이동한다.

규제 산업의 대기업은 이미 그렇게 평가한다. ROI보다 “누가 나를 큰 곤란에 빠뜨리지 않을 것인가”, “누구에게 조직의 일부 미래를 맡길 수 있는가”, “누가 시스템을 다시 뜯어내고 재교육하는 고통을 반복시키지 않을 만큼의 선견지명을 갖췄는가”를 묻는다. 펀드 매니저를 평가하는 방식과 같다. 펀드 전략은 복제 가능하지만 알파는 복제 불가능하고, 과거 수익률보다 의사결정 과정과 지적 엄밀성이 더 나은 예측 지표가 된다.

21세기의 새로운 생산 요소는 ‘대규모 의사결정 품질(decision quality at scale)’이다. 실행 비용은 자동화·소프트웨어·AI로 빠르게 떨어졌지만, 무엇을 실행할지에 대한 최선의 판단 비용은 떨어지지 않는다. 같은 CRM·DW·LLM을 쓰는 두 회사의 운명을 가르는 것은 결국 수많은 작은 의사결정의 누적된 품질이다. 창업자는 이제 제품이 아니라 사고방식·예측력·판단 과정을 공개적으로 입증해야 한다. Warren Buffett의 주주서한, Charlie Munger의 Poor Charlie’s Almanac이 사례다.

Microsoft mimalloc, jemalloc 대비 2.5배 빠른 메모리 할당자

10k LOC의 단순한 자료구조, 락 경합 없는 멀티스레드 설계

Microsoft Research가 만든 mimalloc이 다시 GeekNews 인기 글에 올랐다. malloc을 드롭인 교체 가능한 범용 할당자로, 코드 수정 없이 기존 프로그램에 바로 적용할 수 있다. Microsoft 공식 벤치마크 기준으로 tcmalloc 대비 13%, jemalloc 대비 2.5배 이상 빠르면서 메모리도 덜 쓴다. 특정 벤치마크 1등을 노린 게 아니라 어떤 워크로드에서도 꾸준히 상위권을 차지하도록 설계된 점이 차별점이다.

기술적 핵심은 약 10k LOC의 단순한 자료구조다. 통합과 이식이 쉬워서 수천 대 규모의 분산 서비스에서도 운용 가능한 수준이다. 멀티스레드 환경에서는 페이지마다 thread-local free 리스트와 concurrent free 리스트를 분리해, 다른 스레드가 메모리를 해제해도 단일 CAS 한 번이면 끝난다. 락 경합 걱정이 사실상 사라진다. C로 작성됐고 MIT 라이선스로 풀려 있다.

이식 범위도 넓다. Windows·macOS·Linux는 물론 WASM, 다양한 BSD, Haiku, MUSL까지 지원한다. 최근 다양한 캐시·DB 프로젝트에서 표준 malloc 대신 mimalloc을 채택하는 사례가 늘고 있는데, Facebook의 jemalloc이 오랫동안 차지하던 자리에 새 선택지가 등장한 셈이다. AI 시대에 메모리 비용이 칩 부품 비용의 63%까지 치솟는 환경에서, 사용자 공간 메모리 효율을 끌어올리는 작은 라이브러리의 가치는 점점 더 커진다.

관련 글

• AI 코딩의 함정
• 경험은 이제 세금이다
• 메타, jemalloc에 대한 새로운 투자와 오픈소스 협력 강화
• 코드는 싸다. 이제는 ‘말’을 보여줘라
• System of Record에서 System of Intelligence로

출처

1. Greg Wilson — Twelve Ways to Be Wrong about AI-Assisted Coding (third-bit.com)
2. Mr Market — Products Are Out, Brains Are In (mrmarket.bearblog.dev)
3. microsoft/mimalloc — General-purpose Allocator (github.com)
4. GeekNews — AI 보조 코딩에 대해 틀리는 열두 가지 방식
5. GeekNews — 제품의 시대는 끝나고, 두뇌의 시대가 온다
6. GeekNews — microsoft/mimalloc 고성능 범용 메모리 할당자