지난 11월 11일, 기업공개(IPO)를 앞둔 AI 빅테크 앤트로픽(Anthropic)이 투자 설명회에서 공개한 한 장의 슬라이드가 실리콘밸리와 월스트리트에서 동시에 화제가 됐다. 그동안 엔비디아 그래픽처리장치(GPU)에 맞춰 작성된 AI 모델 코드를 경쟁사인 AMD의 최신 가속기(MI355X)로 옮기는 데는 숙련된 시스템 엔지니어들이 매달려도 꼬박 6개월에서 1년이 걸렸는데 앤트로픽이 자사의 차세대 모델 클로드 미토스(Claude Mythos)를 투입하자 이 방대한 작업이 단 3일 만에 끝났다는 것이다. 인간의 개입은 최소화됐고, AI가 하드웨어 깊숙한 곳을 제어하는 커널(Kernel) 코드의 거의 100%를 직접 작성하고 최적화했다.

이 발표가 시장에 던지는 충격은 단순한 개발 기간 단축에 있지 않다. 엔비디아가 반도체를 팔면서 제조업에서는 상상하기 힘든 70%대 중반의 매출총이익률을 유지할 수 있었던 핵심 비결, 즉 20년간 쌓아 올린 소프트웨어 생태계 CUDA(쿠다)라는 일종의 절대 반지에 본격적인 균열이 가기 시작했다는 신호탄이기 때문이다. 전 세계 테크 업계가 당연한 상수로 여겨왔던 엔비디아의 독점적 해자가 과연 언제까지 유효할 것인가라는 근본적인 질문이 수면 위로 떠올랐다.

배보다 배꼽이 더 컸던 이전 비용

순수 하드웨어 제원만 놓고 보면 AMD의 최신 인스팅트 시리즈나 구글, 아마존, 메타 등 빅테크들이 자체 개발한 주문형 반도체(ASIC), 그리고 한국을 비롯한 글로벌 AI 반도체 스타트업들의 신경망처리장치(NPU) 역시 상당한 기술적 성숙도에 올라와 있다. 연산을 뒷받침하는 HBM의 탑재 용량이나 전력 대비 단순 행렬 연산 가성비만 따지면 엔비디아의 주력 칩을 앞서는 영역도 분명히 있다. 그럼에도 전 세계 IT 기업들이 수개월씩 대기표를 뽑고 웃돈을 주며 엔비디아에 줄을 설 수밖에 없었던 이유는 전환 비용이라는 보이지 않는 장벽이 워낙 컸기 때문이다.

엔비디아는 2006년 쿠다를 처음 공개한 이래 무려 20년 동안 전 세계 대학과 연구소, 개발자 생태계를 자사의 소프트웨어 표준 위에 묶어두었다. 오늘날 발표되는 AI 논문과 오픈소스 프레임워크, 상용 서비스는 모두 쿠다와 그 위에 얹힌 최적화 라이브러리(cuDNN, TensorRT 등)를 기준으로 밑바닥부터 설계돼 있다.

하드웨어 아키텍처의 물리적 차이가 문제다. 엔비디아 칩은 32개의 스레드(워프) 단위로 데이터를 묶어 처리하는 반면, AMD 칩은 64개 단위(웨이브프론트)로 처리하는 등 내부 레지스터 구조와 온칩 메모리 계층의 데이터 이동 경로가 완전히 다르다. 과거에도 AMD가 문법을 1대 1로 치환해 주는 정적 변환 도구를 제공하긴 했다. 하지만 이는 단어만 기계적으로 바꿔주는 수준에 불과해, 변환기를 돌리고 나면 수많은 런타임 에러가 터지고 하드웨어 가동률(MFU)이 반 토막 나기 일쑤였다.

기능 구동과 연산 정밀도 검증은 서로 다른 문제다. 개발자가 모델 코드를 새 하드웨어로 옮길 때 실제로 부딪히는 지점은 문법 치환만으로 해결되지 않는 실행 환경과 성능 검증의 간극이다. 정적 변환기가 단어만 바꿔준다고 해서 런타임 환경이 자동으로 맞춰지는 것은 아니다. 결국 코드를 이식한 뒤에도 하드웨어 특성에 맞춰 커널을 다시 짜고, 연산 정밀도와 처리 속도를 일일이 검증해야 했다. 엔비디아의 진짜 방어선은 여기서 작동했다.

타사 칩을 도입하려면 연봉 수억 원의 최고급 시스템 소프트웨어 엔지니어 수십 명이 수개월간 밤을 새우며 수만 줄의 C++ 및 어셈블리 수준 커널 코드를 한 줄씩 뜯어고쳐야 했다. 칩 구매 비용 몇 푼 아끼려다 핵심 AI 서비스 출시가 반년 이상 늦어지고 인건비가 눈덩이처럼 불어나니, 빅테크 입장에서는 비싸더라도 당장 꽂으면 제 성능이 나오는 엔비디아를 택하는 것이 가장 합리적인 의사결정이었던 셈이다.

엔비디아 칩으로 자란 AI가 쿠다 성벽을 부수는 역설

그런데 2026년 하반기 들어 실리콘밸리 현장에서 기묘한 역설이 벌어지고 있는 것이다. 엔비디아 GPU 수만 장을 돌려 학습시킨 초거대 AI가, 이제는 거꾸로 엔비디아의 가장 강력한 방어막인 소프트웨어 장벽을 스스로 허물고 있다. 그동안 대체에 가장 오랜 시간이 걸릴 것으로 예상됐던 하위 레벨 시스템 소프트웨어 분야마저 AI 에이전트의 영향권에 들어오면서, 쿠다 성벽을 부수려는 두 개의 거대한 망치가 등장했다.

첫 번째 망치는 자율 루프 기반의 AI 코딩 에이전트다. 앤트로픽이 입증했듯 지금의 AI 에이전트는 단순히 코드를 번역하고 멈추지 않는다. AI가 쿠다 코드를 타사 칩 규격으로 변환한 뒤, 실제 타사 하드웨어에 올려 직접 컴파일하고 구동해 본다. 그 과정에서 어느 메모리 대역에서 병목이 생기는지, 레지스터 충돌이 어디서 일어나는지 프로파일링 계측기의 피드백 데이터를 스스로 읽어 들인 뒤 코드를 다시 고친다.

올봄까지만 해도 고급 시스템 엔지니어가 하루에 수백 줄을 짜며 몇 달간 수동으로 디버깅하던 고난도 최적화 작업을, 이제는 AI 에이전트가 하루에 수만 줄씩 코드를 생성하고 수천 번의 시행착오 루프를 자율 반복하며 단 며칠 만에 끝내버린다. 오픈소스 진영의 트라이트나 모조 같은 하드웨어 추상화 언어의 발전까지 여기에 결합되면서, 특정 하드웨어에 종속되지 않는 커널 생성 자동화는 거스를 수 없는 흐름이 됐다.

두 번째 망치는 소스 코드 수정조차 생략하는 바이너리 호환성 레이어의 상용화다. 영국 스펙트럴 컴퓨트의 스케일(SCALE)이나 오픈소스 프로젝트 즐루다(ZLUDA) 같은 기술은 아예 코드를 다시 짤 필요도 없게 만든다. 이미 쿠다용으로 컴파일이 끝난 실행 파일을 통째로 넣으면, 중간에서 실시간 동시통역기처럼 명령어를 변환해 타사 GPU에서 그대로 구동시킨다.

앤트로픽이 발표한 '3일'은 목표한 추론 성능까지 프로그램이 정상 구동되도록 만든 시간이다. 물론, 실제 수억 명이 쓰는 상용 서비스에서 엔비디아 칩과 토씨 하나 틀리지 않는 100% 동일한 연산 정밀도를 보장하고 극한의 엣지 케이스까지 검증하는 데는 여전히 추가적인 엔지니어링이 뒤따른다. 하지만 과거 불가능에 가까웠던 타사 칩으로의 이전이 이제는 며칠이면 프로토타입을 뽑고 충분히 상용화까지 밀어붙일 수 있는 작업으로 바뀌면서, 비용 구조 자체가 붕괴되고 있다고 봐도 과언이 아니다.

그렇다면 가장 중요한 질문이 남는다. 쿠의 절대적 위상은 언제까지 유지될 수 있을까. AI 인프라 시장은 추론과 학습이라는 두 개의 서로 다른 시간표로 쪼개져 재편되고 있다. 결론부터 얘기하면, 추론은 2027년 균열이 시작되지만, 학습은 여전히 쿠다의 위상이 견고해 보인다.

먼저 다 만들어진 AI 모델을 돌려 사용자의 질문에 답변을 생성해 내는 추론 시장에서 쿠다의 독점 유효기간은 사실상 2026~2027년을 기점으로 끝나가고 있다. 추론 워크로드는 파운데이션 모델의 구조가 어느 정도 표준화돼 있어 커널 복잡도가 상대적으로 낮고, 무엇보다 '토큰당 생성 비용'과 '메모리 대역폭 및 용량'이 수익성을 좌우한다.

AI 에이전트 덕분에 소프트웨어 이전이 쉬워지자, 빅테크들은 곧바로 하드웨어 가성비 계산기를 두드리기 시작했다. 실제로 앤트로픽은 이번 발표에서 엔비디아 블랙웰뿐 아니라 대용량 HBM3E(288GB)를 탑재한 AMD의 MI355X, 구글의 텐서처리장치(TPU), 아마존의 트레이니움 등 무려 4종의 이기종 칩을 하나의 추상화 레이어로 묶어 운용함으로써 가격 대비 성능을 4.3배나 끌어올렸다고 밝혔다. 이제 추론 영역에서는 '무조건 엔비디아'라는 공식이 깨지고, 메모리가 크고 전력당 토큰 생산성이 높은 칩이 승리하는 순수 하드웨어 스펙과 총소유비용(TCO)의 전쟁으로 판이 완전히 넘어갔다.

반면 차세대 초거대 모델을 밑바닥부터 가르치는 학습 시장에서 엔비디아는 결코 쉽게 무너지지 않을 것으로 보인다. 프론티어급 모델 학습은 개별 칩 한두 장의 연산력이 아니라, 수만 장의 GPU를 단 하나의 거대한 유기체처럼 묶어 동시에 파라미터를 업데이트하는 초대형 클러스터 엔지니어링의 영역이기 때문이다.

칩과 칩을 초고속으로 연결하는 독자 인터커넥트 규격인 NV링크(NVLink)와, 수만 개 노드 간의 통신 병목과 장애를 제어하는 네트워크 소프트웨어(NCCL)로 이어지는 엔비디아의 하드웨어-소프트웨어 공동 설계가 여기서 진짜 방어선으로 작동한다. AI 에이전트가 단일 칩 안에서 돌아가는 커널 코드는 3일 만에 번역해 줄 수 있어도, 수만 개의 칩이 얽혀 돌아가는 데이터센터 전체의 물리적 통신 지연과 네트워크 토폴로지 최적화까지 단숨에 해결해 주지는 못한다. AMD와 브로드컴, 빅테크 연합군이 이에 맞서 개방형 연결 표준인 UALink를 추진하고 있지만, 이 생태계가 현장에서 엔비디아만큼 성숙하고 안정화되기까지는 최소 2~3년의 물리적 시간이 더 필요하다. 그리고 그 사이에 엔비디아가 가만히 있지 않을 것이다.

소프트웨어 락인 시대의 종말과 한국 AI 인프라의 셈법

요즘 여러모로 화제가 되고 있는 젠슨 황 엔비디아 전 CEO 역시 AI가 발전할수록 소프트웨어 해자가 얕아질 것임을 누구보다 정확히 꿰뚫어 보고 있었다. 최근 엔비디아가 신규 아키텍처 출시 주기를 기존 2년에서 1년(블랙웰→루빈)으로 앞당겨 경쟁사들이 하드웨어 스펙을 따라잡을 물리적 시간을 지워버리고, 단품 칩 판매를 넘어 72개의 GPU와 네트워크 장비를 통째로 묶은 서버 랙(NVL72 등) 단위의 시스템 인프라 기업으로 방어선을 이동시킨 이유가 여기에 있다고 본다. 소프트웨어 성벽이 낮아지는 속도를 하드웨어 시스템 혁신 속도로 메우겠다는 전략이다.

지난 20년간 반도체 제국을 지탱해 온 소프트웨어 종속성을 통한 초고마진 시대는 AI 스스로의 손에 의해 저물고 있다. AI 에이전트가 전 세계 모든 반도체의 소프트웨어 장벽을 평준화시키는 지금, 글로벌 AI 인프라 시장은 소프트웨어 족쇄에 기대어 마진을 챙기던 시대에서 순수 하드웨어의 물리적 가성비와 초대형 클러스터의 시스템 효율로 진검승부를 벌이는 전쟁터로 진입하고 있다.

이러한 지각변동은 한국의 반도체 및 AI 국가 전략에도 중대한 시사점을 던진다. 메모리 강국인 한국에 탈 쿠다 추론 시장의 시작은 거대한 기회다. 소프트웨어 장벽이 사라진 추론 시장에서 빅테크들이 하드웨어 가성비와 더 큰 메모리 용량을 찾기 시작했다는 것은 HBM을 비롯한 차세대 메모리 반도체의 대역폭과 용량이 칩의 경쟁력을 결정짓는 핵심 변수가 됐음을 뜻한다. 국산 AI 반도체 기업들에는 그동안 가장 큰 아킬레스건이었던 쿠다 호환성 부재와 소프트웨어 생태계 부족이라는 구조적 핸디캡을 AI 기반 컴파일러와 자동 변환 기술로 단숨에 뛰어넘을 수 있는 천재일우의 기회가 열렸다.

국가 AI 컴퓨팅 인프라를 구축하는 정책 결정권자들과 기업 리더들 역시 AI 인프라는 곧 엔비디아 확보전이라는 과거의 단선적인 전제에서 벗어나야 한다. 학습용 초고성능 클러스터와 대국민 서비스용 추론 인프라의 성격을 명확히 분리하고, 다변화되는 이기종 칩 생태계 속에서 어떻게 토큰당 비용 효율을 극대화할 것인지 국가 차원의 인프라 포트폴리오 계산기를 다시 두드려야 할 시점이다.

※ 외부필자의 원고는 IT조선의 편집방향과 일치하지 않을 수 있습니다.

이승현 라이너 AI 에반젤리스트는 스타트업 창업가 출신의 AI 전문가다. 디지털플랫폼정부위원회 인공지능플랫폼혁신국장으로서 재직하면서 대한민국 공공 AI의 초석을 닦았으며, 현재는 한양대 에리카 글로벌문화통상학부 겸임교수, 가천대 스타트업칼리지 겸임교수, 법무법인 린의 공공AX 고문을 겸하며 기술과 정책의 가교 역할을 하고 있다. 이론에 머물지 않는 현장형 전략가로서 국가 전반의 AI 네이티브 전환을 이끌고 있다.