122 읽음
GPU 대규모 확보, 활용률 제고 위한 국산 서비스 고도화
IT조선
0
과학기술정보통신부는 6월 초 2조800억원 규모의 정부 GPU 사업 참여 사업자로 네이버클라우드·삼성SDS·엘리스그룹을 선정했다. 이들을 통해 엔비디아 베라루빈과 B300 등 첨단 GPU 9704장을 확보한다. 이들 기업은 올해 B300을 시작으로 2027년 상반기 베라루빈까지 순차적으로 서비스할 계획이다.
확보한 GPU는 독자 AI 파운데이션 모델과 국가 AI 프로젝트, 산·학·연의 AI 모델·서비스 개발에 투입된다. CSP는 일부 물량을 GPUaaS로 상품화하거나 자체 AI 모델과 서비스 고도화에 활용한다.
2조5000억원 규모의 국가AI컴퓨팅센터도 조성된다. 이처럼 정부 주도의 대규모 GPU 지원이 이어지면서 국내 AI 연산 자원은 빠르게 늘어날 전망이다.
다만 업계는 GPU 확보 이후를 걱정한다. 대규모 AI 모델을 처음 학습할 때는 수백~수천개의 GPU가 일정 기간 집중적으로 투입된다. 정부가 주도해 GPU 도입에 힘쓴 이유다. 이후에는 재학습과 미세조정, 추론에 GPU가 계속 쓰인다. 하지만 이때 필요한 자원은 실제 서비스 이용량에 따라 달라진다. 즉 서비스 이용자가 충분하지 않으면 학습 단계에서 사용한 만큼 대규모 GPU 클러스터를 계속 가동하기 어렵다. 확보한 GPU 일부가 유휴 자원으로 남으면서 투자 효율도 낮아질 수 있는 것이다.
이미 GPU 인프라를 도입한 기업들은 GPU 서버 활용률 문제를 체감하고 있다. 최근 벤처비트 리서치가 전세계 100인 이상 기업의 기술 책임자 573명을 조사한 결과, 자체 GPU를 운영하는 기업의 86%가 가동률 50% 이하라고 답했다. 국내 기업도 비슷한 문제를 겪고 있다. 국내 클라우드 업계 관계자에 따르면, 국내 기업들 상당수가 GPU 자원의 사용률이 30~40% 수준을 보이고 있는 것으로 알려졌다.
국내 CSP, GPUaaS 갖췄지만 민간 수요층은 얇아
CSP는 대규모로 확보한 GPU 자원을 GPUaaS 방식을 통해 효율적으로 고객에게 배분할 수 있다. 해외 CSP뿐만 아니라 국내 CSP도 현재 기술적으로 가능하다. 이들은 자체 AI 모델의 훈련과 추론에 GPU 자원을 사용하는 동시에, 유휴 자원을 기업이나 사용자들이 탄력적으로 활용하도록 할 수 있다.
현재 다수의 국내 CSP가 여러 GPU를 하나의 자원 풀로 묶어 고객에게 필요한 기간과 규모만큼 할당하는 방식으로 GPUaaS 사업을 하고 있다. 작업이 끝난 자원은 회수해 다른 고객에게 다시 배분하며 자원을 효율적으로 활용한다. 또 국내 CSP 대다수가 이미 GPU 서버와 GPUaaS, AI 개발 플랫폼을 서비스하고 있고, 시간 단위 상품과 멀티 GPU, 클러스터, 분산학습 기능 등을 제공한다. 다만 “국내 CSP의 서비스를 AI 기업과 개발자가 실제로 선택하고 반복해서 이용하느냐가 문제”라는 게 다수 업계 관계자들의 지적이다.
즉 국내 CSP를 선택하는 민간 기업과 개발자층이 충분하지 못하다는 게 업계의 냉정한 평가다. 물론 국내 CSP를 이용하는 기업과 기관 고객이 수백여곳은 존재한다. 다만 현실적으로 글로벌 CSP의 서비스에 비해 대중성이 뒤처진다는 게 현업 개발자들의 평가다. 전문가들은 특히 최근 폭발적인 AI 사용 확대의 수혜를 모두 해외 AI 서비스들과 CSP들이 가져가고 있다고 지적한다. 이들은 “네이버클라우드, NHN클라우드, KT클라우드, 카카오엔터프라이즈 등의 국내 CSP들이 GPU 활용률을 높이려면 일반 개발자들과 AI 서비스 기업들을 잡아야 한다”고 입을 모은다.
해외에서는 코어위브·람다·크루소·네비우스 등 최근 등장한 네오클라우드 기업들이 AI 개발 수요를 빠르게 흡수하고 있다. 이들 네오클라우드 기업들은 기존 CSP들처럼 GPU 자원을 단순히 빌려주는 데 그치지 않고 고속 네트워크와 스토리지, 개발환경을 함께 제공한다. 고객이 원하는 GPU를 빠르게 확보해 사용자들이 곧바로 학습을 시작하고, 소규모 실험에서 대규모 분산학습까지 확장할 수 있도록 서비스를 구성한 점이 경쟁력으로 꼽힌다.
한 국내 클라우드 업계 관계자는 “국내 CSP도 기본 기술은 상당 부분 갖추고 있다”면서도 “다만 개발자 기준에서 편리한지, 하나의 연속된 사용자 경험을 가진 서비스인가를 평가한다면, 해외 CSP나 네오클라우드 서비스 등에 비해 부족한 점이 많다고 느낀다”고 말했다.
GPU 확보에 쏠린 투자…클라우드·소프트웨어는 뒷전
그동안 정부 지원의 관심이 GPU와 데이터센터 등 물리적 인프라 확보에만 집중됐다는 지적도 나온다. 또 다른 국내 클라우드 업계 관계자는 “GPU를 확보하는 것과 이를 기반으로 개발자가 계속 이용하는 서비스로 만들 수 있느냐 하는 것은 완전히 다른 문제”라고 말했다. 이 관계자는 “CSP의 소프트웨어에 대한 연구개발 투자는 GPU 구매에 묻혀 뒷전이 되고 있는 분위기”라며 “AI의 기반이 되는 클라우드를 운영하는 소프트웨어 플랫폼에 대한 정부의 연구개발 지원도 대폭 삭감이 있었기에 당분간 개선이 쉽지 않을 걸로 본다”고 덧붙였다.
최근 정부는 반도체 생산과 AI 데이터센터 건설에 국가 역량을 집중하고 있다. 하지만 AI 산업을 뒷받침하는 클라우드 업계는 앞으로 수년간 이뤄질 천문학적인 투자가 제대로 된 결과를 낼 수 있을지를 우려한다. 업계는 AI 기업과 개발자가 비용을 내고 반복해서 이용하는 국산 GPUaaS 플랫폼의 고도화와 연구개발에도 관심이 필요하다고 입을 모으고 있다.
정종길 기자
jk2@chosunbiz.com