- YC 대표 Garry Tan이 공개한 AI 에이전트 품질 관리 방법론 “Skillify” – 실패를 영구 수정하는 10단계 프로세스
- 10년차 시니어 엔지니어의 커리어 고백 – “최고의 코드는 코드가 없는 것”
- LocalStack 대안 등장 – Go 기반 경량 AWS 에뮬레이터 kumo, 76개 서비스 지원
“실패가 발생하면, 해당 실패를 재현 불가능하게 만드는 스킬로 변환하라.” Y Combinator 대표 Garry Tan이 던진 이 한 마디가 오늘 GeekNews를 뒤흔들었다. AI 에이전트가 왜 같은 실수를 반복하는지, 10년차 시니어 개발자가 술 한 잔에 쏟아낸 커리어의 진실은 무엇인지, 그리고 LocalStack의 유료화에 지친 개발자들이 몰려가는 새로운 도구는 무엇인지. 오늘의 TOP3를 파헤친다.
1. Garry Tan의 “Skillify” – AI 에이전트의 실수를 영원히 없애는 법
에이전트가 계속 틀리는 진짜 이유
Y Combinator 대표 Garry Tan이 X(구 트위터)에서 공개한 Skillify 방법론이 개발자 커뮤니티에서 큰 반향을 일으키고 있다. 핵심 문제의식은 명확하다. AI 에이전트가 타임존 변환이나 캘린더 검색처럼 결정론적으로 답이 정해진 작업을 LLM 추론으로 처리하다가 틀리는 것이 주요 버그의 원인이라는 것이다.
구체적 사례가 인상적이다. 싱가포르 출장 일정을 확인하기 위해 에이전트가 라이브 API를 5분간 호출했지만, 실제로는 로컬에 인덱싱된 3,146개 캘린더 파일에서 즉시 검색 가능한 데이터였다. 또 다른 사례에서는 “다음 회의 28분 후”라고 답했지만 정답은 88분 후였다. UTC에서 PT로 변환할 때 정확히 1시간을 틀린 것인데, 기존 스크립트가 100ms 이내에 정답을 내놓을 수 있었지만 에이전트가 이를 무시하고 추론을 선택한 결과였다.
Skillify 10단계 프로세스
Skillify의 핵심은 “실패를 재현 불가능하게 만드는 스킬로 변환”하는 것이다. SKILL.md 작성에서 시작해 결정론적 스크립트 개발, 유닛 테스트(vitest), 통합 테스트, LLM-as-judge 평가, 리졸버 트리거 등록, 리졸버 성능 평가, 도달 가능성/중복 감사, E2E 스모크 테스트, 브레인 파일링 규칙 등록까지 10단계로 구성된다. “skillify it” 명령 한 번으로 이 전체 프로세스가 자동 실행된다.
Tan은 LangChain과의 차이도 분명히 했다. LangChain이 테스트 도구(헬스장 회원권)를 제공한다면, Skillify는 운동 루틴표 자체를 제시한다는 것이다. 현재 40개 이상의 스킬을 운영 중이며, 그중 15%가 미등록 상태로 “어둠 속 기능”이 되는 현상도 발견했다고 밝혔다.
Tech Insight — Skillify의 핵심은 소프트웨어 엔지니어링의 오래된 원칙인 “모든 버그에 회귀 테스트를 작성하라”를 AI 에이전트 영역에 적용한 것이다. 2005년부터 확립된 이 원칙이 AI 에이전트에는 아직 미적용 상태였다는 점이 시사적이다. LLM이 만능이 아니라 결정론적 도구와의 협업이 필수라는 관점은, 에이전트 개발 방향에 중요한 전환점이 될 수 있다.
2. 시니어 엔지니어의 술 고백 – 10년 경력의 불편한 진실
“자랑스러운 코드 중 의미 있는 것은 거의 0%”
Reddit r/ExperiencedDevs에 올라온 한 10년차 데이터 엔지니어의 “술 취한 포스트”가 2021년 원본 계정 삭제 이후에도 계속 회자되며, 2026년 오늘 다시 GeekNews 상위에 올랐다. 가장 충격적인 고백은 이것이다. 90년대에 작성한 형편없는 OOP 코드가 오래 살아남았고, 2018~2021년 스타트업에서 쓴 우수한 코드는 회사와 함께 사라졌으며, PHP 마이크로프레임워크 하나가 10년간 10억 AUD 이상을 처리하면서 유지보수가 거의 필요 없었다는 것이다.
경력이 알려주지 않는 것들
저자의 핵심 조언은 의외로 단순하다. 기술 스택보다 핵심 원칙 10~20가지를 습득하는 것이 중요하고, 문서화가 가장 과소평가된 기술이며, SQL이 초보자에게 가장 수익성 높은 언어라는 것이다. 구체적 수치로는 SQL 전문가 급여가 일반 50K에서 90K로 뛴다고 밝혔다.
일과 삶에 대한 통찰도 날카롭다. 회사 이직이 커리어 발전의 최선 방법이지만, 5년 이상 자신의 코드가 프로덕션에서 살아있는 경험이 더 깊은 피드백 루프를 제공한다는 역설. 그리고 분기당 1회 이상 온콜로 깨어나면 그만둬야 할 신호라는 실전 기준도 제시했다.
Tech Insight — “좋은 엔지니어가 되는 것은 모범 사례를 아는 것이고, 시니어 엔지니어가 되는 것은 언제 그것을 무시할지 아는 것이다.” AI 시대에도 여전히 유효한 이 통찰은, 도구가 아무리 발전해도 결국 엔지니어링 판단력은 경험에서 나온다는 점을 상기시킨다. 특히 “basedpyright + gradual typing이 AI보다 생산성 효과가 크다”는 최근 발견은 주목할 만하다.
3. kumo – LocalStack에 지친 개발자들의 새로운 선택
Go 바이너리 하나로 AWS 76개 서비스 에뮬레이션
GitHub 스타 969개를 기록 중인 kumo는 Go로 작성된 경량 AWS 서비스 에뮬레이터다. 가장 큰 특징은 단일 바이너리로 배포되며, 별도 AWS 자격 증명 없이 동작한다는 점이다. S3, DynamoDB, Lambda, SQS, SNS 등 76개 AWS 서비스를 지원하며, Docker 한 줄 명령으로 즉시 실행할 수 있다.
CI/CD 환경에 최적화된 설계
kumo의 설계 철학은 CI/CD 테스트 환경에 초점이 맞춰져 있다. KUMO_DATA_DIR 환경 변수를 설정하면 서비스별 JSON 파일로 데이터를 보존하고, 미설정 시에는 인메모리로 실행되어 테스트마다 깨끗한 상태를 유지한다. HTTP 메서드, 경로, 상태 코드, 요청 ID까지 포함한 구조화된 로그 시스템도 갖추고 있다.
테스트 전용 엔드포인트도 눈에 띈다. /kumo/ses/v2/sent-emails로 SES v2 전송 이메일을 조회하고, /kumo/pinpointsmsvoicev2/sent-messages로 SMS 전송 이력을 확인할 수 있어, 알림 시스템 통합 테스트에 특히 유용하다. MIT 라이선스로 완전 오픈소스이며, AWS SDK v2와 호환된다.
Tech Insight — LocalStack이 Pro/Enterprise 유료화를 강화하면서, 오픈소스 대안에 대한 수요가 커지고 있다. kumo가 Go 단일 바이너리로 76개 서비스를 지원한다는 것은, 컨테이너 오버헤드 없이 CI 파이프라인에 즉시 투입 가능하다는 의미다. 아직 각 서비스의 API 커버리지 깊이는 검증이 필요하지만, 가벼운 통합 테스트 용도로는 충분히 주목할 만한 프로젝트다.
관련 글
출처
- GeekNews – Garry Tan의 “Skillify” 방법론
- luminousmen – Things I’ve Learned as a Senior Engineer
- GitHub – sivchari/kumo: AWS Service Emulator
- GeekNews (news.hada.io)
AI Biz Insider · Tech Digest · aibizinsider.com
댓글 남기기