AI가 끝내 못 넘은 벽

오늘 GeekNews 상위권을 관통하는 키워드는 하나입니다. “AI가 어디까지 하고, 어디서 멈추는가.” 새로운 이론을 발명하는 도약, 무엇을 남기고 무엇을 버릴지 결정하는 안목, 그리고 모델을 아예 칩에 굳혀버리는 하드웨어의 승부수까지 — AI의 능력이 커질수록 오히려 선명해지는 사람과 판단의 자리를 짚어봅니다. 오늘의 개발자 TOP3.

LLM은 ‘점프’할 수 없다

귀납·연역은 기계화됐지만, 귀추의 도약은 남았다

DeepMind의 Tom Zahavy가 던진 질문은 단순하지만 날카롭습니다. 데이터에서 규칙을 찾는 귀납(Induction)과 공리에서 결과를 끌어내는 연역(Deduction)은 AlphaProof 같은 시스템이 이미 빠르게 기계화하고 있는데, 그렇다면 충분히 큰 LLM은 원칙적으로 일반상대성이론도 발명할 수 있어야 하지 않느냐는 것입니다. 논문의 답은 “아니오”입니다. 빠진 것은 감각 경험에서 새로운 설명과 공리로 넘어가는 귀추(Abduction)의 ‘점프’이기 때문입니다.

근거로 든 사례가 흥미롭습니다. 아인슈타인이 일반상대성이론을 세울 당시 뉴턴 역학은 관측 데이터와 거의 완벽히 맞아떨어졌고, 수성 근일점 이동이라는 예외조차 ‘벌컨’이라는 미발견 행성으로 설명하려 했습니다. 즉 압축해야 할 오차 신호 자체가 거의 없었습니다. ‘창의성=데이터 압축’이라는 관점(Schmidhuber)으로는 이 발견을 설명하기 어렵다는 뜻입니다. 아인슈타인의 등가원리는 데이터를 일반화한 것이 아니라, 자유낙하하는 관찰자의 물리적 감각을 머릿속에서 시뮬레이션해 “가속과 중력은 구별되지 않는다”는 새 공리를 만든 ‘조작적 귀추(manipulative abduction)’였다는 해석입니다.

저자는 이 간극을 메울 방향으로, 수동적으로 영상을 예측하는 Veo가 아니라 행동으로 환경에 개입할 수 있는 Genie형 월드 모델을 제시합니다. 에이전트가 반사실적 상황을 직접 경험할 수 있는 물리적 기반이 있어야 직관과 논리를 잇는 피드백 루프를 기계화할 수 있다는 것입니다. 다만 이건 “AI는 절대 못 한다”는 주장이 아니라, 무엇이 더 필요한지에 대한 탐색임을 저자 스스로 분명히 합니다.

프롬프트로 안목까지 만들 수는 없다

생성이 흔해질수록 희소해지는 건 큐레이션

Mirakl의 디자이너가 쓴 이 글은 지난 1년간 창업자·경영진의 화두가 된 ‘안목(taste)’을 정면으로 다룹니다. 폴 그레이엄과 샘 올트먼은 “누구나 무엇이든 만들 수 있게 되면 무엇을 만들지 선택하는 능력이 차별점”이라고 말하지만, 저자는 여기에 한 겹을 더합니다. 안목은 성공을 충분히 거두면 갑자기 생기는 재능이 아니라, 12세부터의 미술 교육과 건축학교의 비평처럼 “왜 아직 제대로 안 됐는지”를 수백 번 교정받으며 천천히 형성되는 판단력이라는 것입니다.

핵심 실험이 인상적입니다. 참가자 44명에게 AI와 인간의 그림 20점을 구분하게 했더니 정답률은 동전 던지기보다 조금 나은 수준에 그쳤습니다. 그런데 같은 AI 그림도 “인간이 그렸다”고 알려주면 복잡성·새로움·모호성 평가가 통계적으로 유의하게(p<.05) 높아졌습니다. 그림은 하나도 바뀌지 않았는데 말입니다. GAN은 “진짜처럼 보이는가”는 학습하지만 “만들 가치가 있는가”는 학습하지 않는다는 지적이 여기서 나옵니다.

개발자에게 더 와닿는 대목은 프로토타이핑입니다. 이제 PM이 기능을 설명만 해도 그날 오후엔 작동하는 버전이 나옵니다. 하지만 Nielsen Norman Group의 비교에서 AI 결과물은 그룹화·정보 계층·간격·빈 상태·엣지 케이스 같은 ‘보이지 않는 결정’을 계속 놓쳤습니다. “멀리서 보면 좋아 보이지만 가까이서 보면 아닌” 상태죠. 저자의 결론은 안목이 곧 ‘멈춤의 기준(stopping rule)’이라는 것입니다. 생성 기술은 언제 탐색을 멈춰야 하는지 알려주지 않으니까요.

AMD, 모델을 실리콘에 새긴다

Taalas 인수 — 추론 48배, 토큰 비용은 뚝

AMD가 2023년 토론토에서 설립된 AI 칩 스타트업 Taalas를 인수합니다. 인재 인수가 아니라 회사 자체를 사들이는 거래로, 규제 승인을 거쳐 2026년 4분기에 마무리될 예정입니다. Taalas의 발상은 급진적입니다. HBM에 모델 가중치를 저장하는 대신, 아예 실리콘에 직접 새겨 넣는 ‘모델 전용 집적회로(MSIC)’를 만드는 것입니다. 칩은 가중치를 새기는 mask-ROM 영역과 KV 캐시·미세조정 어댑터를 담는 SRAM 영역으로 나뉩니다.

숫자가 화제입니다. TSMC 6nm 공정으로 만든 첫 시험 칩 HC1은 Meta Llama 3.1 8B를 초당 16,960토큰으로 처리해, 발표 당시 Nvidia GPU보다 48배, Cerebras 가속기보다 8.5배 빨랐습니다. 2세대 HC2는 칩당 200억 파라미터를 목표로 하며, 파이프라인 병렬화로 가속기 50개를 묶으면 1조 파라미터 모델도 지원할 수 있다고 합니다. AMD는 이를 Instinct 기반 Helios 랙과 결합해, GPU가 연산량 큰 프롬프트 처리를, Taalas 칩이 토큰 생성을 맡는 분리형 구성을 구상 중입니다.

물론 대가가 있습니다. 가중치를 실리콘에 굳히면 그 칩은 해당 모델에 종속되고, LoRA 어댑터를 넘어서는 변경엔 칩 재제작이 필요합니다(다만 금속층 2개만 바꾸면 된다고 합니다). 새 모델이 거의 매달 나오는 시대에 이건 분명한 리스크입니다. 하지만 토큰 비용을 낮추고 출력 속도를 10~20배 높인다면, 더 오래 생각하게 하는 ‘테스트 시간 스케일링’의 활용 범위가 크게 넓어집니다. 실리콘에 새기는 비용이 프런티어 모델 훈련보다 100배 저렴하다는 점도 계산의 무게를 바꿉니다.

관련 글

• AI 고수는 모델을 안 고친다 — 개발자 TOP3
• Redis 버리고 S3 썼더니… — 개발자 TOP3
• AI 켜둔 회사부터 뚫렸다 — AI 에이전트 보안
• 시키지도 않았는데, AI가 — 자율 에이전트의 등장
• OpenAI가 스스로 브레이크를 밟다 — Astra와 사이버 임계

출처

1. LLM은 ‘점프’할 수 없다 — GeekNews (원문: openreview.net)
2. 프롬프트로 프로토타입은 만들 수 있어도, 안목까지 만들 수는 없다 — GeekNews (원문: mirakl.tech)
3. AMD, 모델을 실리콘에 새기는 AI 칩 스타트업 Taalas 인수 — GeekNews (원문: theregister.com)