코딩 에이전트, 하나만 쓰면 손해

AI로 코드를 짜는 것 자체는 이제 기본기가 됐습니다. 진짜 승부는 여러 에이전트를 어떻게 지휘하고, 그 결과를 어떻게 믿을 수 있게 만드느냐에서 갈립니다. 오늘 GeekNews TOP3는 공교롭게도 하나의 흐름을 그립니다. 에이전트를 병렬로 지휘하는 오케스트레이션, 결과물의 품질을 지키는 평가 체계, 그리고 이 모든 것을 감당 가능한 비용으로 낮추는 특화 모델. 실전 AI 개발의 세 축을 정리했습니다.

Orca, 코딩 에이전트 5개를 병렬로 굴리는 오픈소스 ADE

하나의 프롬프트, 다섯 개의 경쟁 결과

Orca는 Codex, Claude Code, OpenCode, Pi 등 터미널에서 도는 모든 CLI 에이전트를 기존 구독 그대로 구동하는 오픈소스 ADE(Agentic Development Environment)입니다. 핵심은 Parallel Worktrees입니다. 각 에이전트를 격리된 git worktree에 나란히 배치해, 하나의 프롬프트를 다섯 개 에이전트에 동시에 던지고 결과를 비교한 뒤 가장 나은 버전만 병합합니다. 에이전트 하나의 답을 기다리는 대신, 여러 후보를 경쟁시키고 승자를 고르는 방식입니다.

여기에 WebGL 기반 터미널 분할, 실제 Chromium 창에서 UI 요소를 클릭하면 해당 HTML·CSS와 잘라낸 스크린샷을 프롬프트로 넘기는 Design Mode, GitHub·Linear 네이티브 연동, 자동 재연결되는 SSH 원격 워크트리까지 붙습니다. 모바일 컴패니언 앱으로 휴대폰에서 진행 상황을 보고 원격 지시도 보낼 수 있습니다. macOS·Windows·Linux 데스크톱과 iOS·Android를 지원하며 MIT 라이선스로 공개됐고, 출시 약 5개월 만에 빠르게 사용자를 늘리고 있습니다.

평가 주도 개발(EDD), Airbnb가 GenAI 품질을 지키는 법

잘 되는 것 같다는 착각을 없애는 규율

Airbnb는 리뷰 하이라이트, AI 고객 지원 등에 LLM을 쓰면서 평가(Eval)를 사후 검증이 아니라 핵심 엔지니어링 규율로 끌어올렸습니다. 이것이 평가 주도 개발(EDD)입니다. LLM 출력은 비결정적이고 정답도 주관적이라 전통적 테스트의 가정이 무너집니다. 그래서 실제로 관찰된 실패를 평가 항목으로 만들고, 출시 게이트를 먼저 정한 뒤 지속적으로 검사합니다.

방법은 3계층 방어선입니다. JSON 스키마 검증 같은 결정론적 검사가 1차 필터, 그다음이 루브릭 기반 LLM 심판(LLM-as-a-Judge), 마지막이 인간 평가입니다. 핵심 디테일은 보정입니다. 나쁜 사례를 반드시 포함한 50~100개 골든 데이터셋으로, 심판이 인간과 80% 후반에서 90%대까지 일치하도록 맞춰야 합니다. 실제 사례에서 충실성 심판은 처음 78%에 그쳤지만, 루브릭을 고치고 퓨샷 예제를 더해 88%까지 끌어올렸습니다. 에이전트는 최종 답만 보지 말고 실행 추적(trace)과 스팬으로 도구 호출과 중간 상태까지 검사해야 합니다.

4B 오픈 모델로 검색 비용을 100배 낮추다

프런티어 모델을 반복 호출하지 않아도 된다

에이전트 검색은 한 번의 임베딩 검색에서, 여러 번 계획하고 검색하는 다중 홉 방식으로 진화했습니다. 문제는 비용입니다. GPT-5.6 Sol 기반 다중 턴 검색은 요청당 10초 이상, 약 0.03달러가 듭니다. 매 반복마다 프런티어 모델을 부르기 때문입니다. Castform은 강화학습 후처리로 4B 오픈소스 모델을 특정 검색 작업에 특화시켜, 같은 정확도를 비용 100분의 1로 달성했습니다.

비결은 기업이 이미 가진 데이터입니다. 내부 문서·지원 자료·위키에서 질문과 정답을 자동 합성하고, 검색 도구와 보상 함수를 붙여 강화학습을 돌립니다. Neon의 Lakebase Search가 원문 저장부터 합성 데이터 생성, 학습 롤아웃, 프로덕션 추론까지 한 환경에서 처리하고, 브랜칭과 scale-to-zero로 수천 개의 격리된 롤아웃을 저렴하게 굴립니다. 해커뉴스 토론에서는 패스트푸드점마다 미슐랭 셰프를 고용할 필요는 없다는 비유로 특화 모델의 경제성을 설명했습니다.

관련 글

• AI 코딩 에이전트 여러 개를 한 창에서 조율하는 데스크톱 터미널, Orch term
• Optio, AI 코딩 에이전트를 위한 워크플로 오케스트레이터
• Anthropic 엔지니어링: AI 에이전트 평가(Evals)의 실용적 가이드
• 빠르게 AI 제품을 개선하는 실전 가이드
• GPT-5.6, 가격 대비 성능의 한계를 확장

출처

1. Orca — stablyai/orca (GitHub)
2. Eval-Driven Development — Airbnb Engineering
3. How Castform + Neon Beats Frontier Models — Neon Blog
4. GeekNews (news.hada.io)