AI가 사람 말 끊기 시작했다

지금까지 우리가 써온 모든 AI는 ‘턴제’였다. 사람이 말하면 AI가 듣고, AI가 답하면 사람은 기다린다. 미라 무라티가 OpenAI를 나와 만든 Thinking Machines Lab은 이 전제 자체를 깨러 나왔다. 5월 11일 공개된 인터랙션 모델은 ‘턴’을 없애고 200ms 단위로 입력과 출력을 동시에 처리한다. 핵심은 단순한 속도가 아니라—상호작용이 모델 외부 하네스가 아니라 모델 자체에 박혀 있다는 점이다.

왜 지금까지 AI는 답답했나

VAD 하네스로 버텨온 실시간 음성

GPT-realtime, Gemini Live 같은 음성 모델도 본질은 턴 기반이다. 사용자가 말을 끝냈는지 판단하는 별도 모듈(VAD, Voice Activity Detection)이 모델 앞에 붙어, ‘이제 말 끝났다’고 신호를 줘야 모델이 생성을 시작한다. Thinking Machines는 이 구조를 ‘하네스(harness)’라고 부르며, 모델보다 멍청한 부속품들로 실시간성을 흉내 내는 방식이라 비판한다.

‘쓴 교훈(Bitter Lesson)’의 음성판

머신러닝의 유명한 교훈—수작업으로 짜낸 시스템은 결국 스케일된 일반 능력에 밀린다—를 상호작용에도 적용한 것이 핵심 주장이다. 모델을 키우면 똑똑해지는 동시에 협업 능력도 같이 커져야 한다는 것. 그래서 음성, 영상, 텍스트 처리를 별도 인코더(Whisper, TTS 디코더)에 외주 주지 않고 트랜스포머와 함께 처음부터 공동 학습시켰다(encoder-free early fusion).

200ms 마이크로턴 아키텍처

듀얼 모델: 상시 응답 + 백그라운드 추론

시스템은 두 모델이 병렬로 돈다. 인터랙션 모델은 항상 켜져 있고, 오디오·비디오·텍스트를 끊김 없이 받아 즉답한다. 깊은 추론이나 웹 검색, 툴 호출이 필요하면 백그라운드 모델에 ‘전체 대화 맥락 패키지’를 통째로 넘긴다. 결과가 스트리밍으로 돌아오면, 인터랙션 모델이 대화 흐름이 끊기지 않는 적절한 타이밍에 자연스럽게 끼워 넣는다. 한 명은 말동무, 다른 한 명은 백오피스에서 메모를 건네는 구조다.

200ms 청크로 입출력을 인터리브

핵심 설계 결정은 시간 정렬된 마이크로턴이다. 입력 200ms를 처리하면서 동시에 출력 200ms를 생성한다. 입력과 출력이 모두 스트림이고, 200ms 단위로 교대된다. 그래서 듣는 도중 말하고, 사용자가 카메라 앞에서 행동을 시작하는 순간 반응하며, 대화 중에 웹 검색을 돌리고 결과를 흘러나오는 대로 끼워 넣는 것이 가능해진다. 추론 인프라 측면에서는 매 200ms 청크를 새 요청처럼 받되 GPU 메모리에 영속 시퀀스로 누적하는 ‘스트리밍 세션’ 방식을 SGLang에 일부 업스트림했다.

벤치마크: 숫자가 말하는 격차

속도와 품질을 동시에 잡았다

FD-bench v1 턴 전환 지연에서 TML-Interaction-Small은 0.40초, Gemini-3.1-flash-live(minimal)은 0.57초, GPT-realtime-1.5는 0.59초, GPT-realtime-2.0(minimal)은 1.18초였다. 대화 품질 지표인 FD-bench v1.5는 77.8점으로 Gemini(54.3), GPT-realtime-2.0(47.8)을 큰 폭으로 앞섰다. 음성 지능을 측정하는 Audio MultiChallenge APR에서는 43.4%를 기록해 인스턴트 모델 중 최고였고, 추론 시간을 길게 쓰는 GPT-realtime-2.0(xhigh, 48.5%)을 바짝 추격했다.

아예 새로 만든 능력: 시간·시각 능동성

Thinking Machines가 내놓은 자체 벤치마크가 더 충격적이다. 시간을 인지하고 정확한 시점에 먼저 말을 거는 TimeSpeak에서 64.7점(GPT-realtime-2.0은 4.3), 사용자 신호에 정확히 반응하는 CueSpeak에서 81.7점(상대는 2.9), 카메라 영상에서 반복 동작 횟수를 세는 RepCount-A에서 35.4점(상대는 1.3). 다른 모델은 사실상 0점에 가까운 영역을 혼자 풀어냈다는 뜻이다. 단순한 점수 차가 아니라 카테고리 자체를 새로 그은 셈이다.

한국 사업자가 챙겨야 할 포인트

아직은 리서치 프리뷰, 가격·API 미공개

제품이 아니라 한정 리서치 프리뷰다. 신청은 thinkingmachines.ai에서 받고, 향후 몇 달 내 일부 외부 접근을 열고 2026년 하반기 본격 출시를 예고했다. 모델 크기가 더 큰 변형도 준비 중이지만 현재는 실시간 서빙 비용 때문에 보류 상태다. 즉, 지금 시점에서 양산 서비스 적용은 불가하지만, PoC 신청 큐와 벤치마크 추적은 지금 시작해야 한다.

기존 음성 AI 로드맵 재점검 신호

국내에서 STT·LLM·TTS를 직접 묶어 음성 챗봇이나 콜센터 AI를 만들던 팀은 아키텍처 전제를 재검토할 시점이다. GPT-realtime, Gemini Live 종속 솔루션도 6~12개월 안에 풀듀플렉스 경쟁 모델이 쏟아질 가능성이 높다. 지금 RFP에 들어가는 음성 AI 사양에는 ‘턴 전환 지연 0.5초 이하’, ‘시각 능동 반응’ 같은 조항을 옵션으로라도 끼워두는 편이 안전하다.

관련 글

• 안드로이드가 통째로 갈렸다 — Gemini Intelligence 공개
• Big4가 통째로 갈아엎었다 — PwC×Anthropic 30K 인증
• 퀵북스 켜놓고 자리 비웠다 — Claude SMB 워크플로우
• Every AI Lab Bet on Language — Runway Says They’re Wrong
• 엔비디아가 AI 다 사버렸다 — 400억 달러 지분 베팅

출처

1. TechCrunch — Thinking Machines wants to build an AI that actually listens while it talks (2026.05.11)
2. MarkTechPost — Thinking Machines Lab Introduces Interaction Models (2026.05.13)
3. Thinking Machines Lab — Interaction Models: A Scalable Approach to Human-AI Collaboration