GPU 5% 미만으로 활용 중: 엘리스, 노타, 랩블럽, 글로벌 수요 급증에 한국형 해결책 제시

AWS/Azure/GCP를 포함한 약 23,000개의 Kubernetes 클러스터에 대한 CAST AI 연구: 평균 GPU 사용률 5%. 세 명의 한국 업체가 같은 날 대응. 구조적 레버리지가 더 많은 컴퓨팅이 아니라, 더 나은 컴퓨팅이라는 점.

간단히 말해

CAST AI가 7월 31일 발표하고 ETNews가 전한 연구에 따르면, AWS, Azure, GCP의 약 23,000개 Kubernetes 클러스터에서 Kubernetes가 최적화되지 않았을 때 GPU 평균 사용률은 5%에 불과합니다. 같은 날 한국 3개사(엘리스, 노타, 랩블럽)가 자체 솔루션으로 대응했습니다. 즉, GPU Capex는 이미 지불됐지만 전 세계적으로 활용도는 낮습니다. 한국은 이 문제를 해결할 솔루션을 내놓은 첫 번째 국가입니다.

사실, 맥락 속에서

ETNews, 2026년 7월 31일. 이 기사는 두 가지 수준을 담고 있습니다: 글로벌 수치(CAST AI 연구, Kubernetes 미최적화 시 AWS/Azure/GCP의 약 23,000개 K8s 클러스터 평균 사용률 5%)와 지역적 대응(각각 다른 해결책을 제시하는 세 한국 업체). 한국 맥락: 정부는 7월 말 미국과 9,500억 달러 규모 협약을 체결했는데,其中 GPU Capex(베라 루빈, ETNews 7월 19일 보도에 따르면 다음 회계연도 1만 장 계획)도 포함됩니다. 한국은Compute 미최적화가 Capex 낭비라는 글로벌 수치가 나오자 대규모 구매에 나섰습니다.

기술적 세부 사항

엘리스, 노타, 랩블럽이 다루는 세 가지 기술적 접근법:

• 배칭 및 스케줄링 - 개별 추론은 A100/H200을 체계적으로 저활용하므로 동적 배치(vLLM 등)와 멀티테넌트가 필요합니다.
• 모델 라우팅 - 많은 워크로드는 대형 모델이 필요 없습니다. 라우터가 더 작은 모델이나 양자화된 변형으로 전환하면 20-40%를 회복할 수 있습니다.
• KV 캐시 관리 - 긴 컨텍스트는 메모리를 폭발시킵니다. 압축과 지능형 영속화가 슬롯 저활용을 방지합니다.

엘리스(교육/엔터프라이즈 플랫폼), 노타(모델 압축), 랩블럽(멀티테넌트 오케스트레이션 Backend.AI)은 동일한 오케스트레이션 방정식의 세 가지 측면입니다.

결론

두 가지 흐름이 convergence합니다. 토큰 예산 제한 - CFO는 토큰 가격을 보지 않고 GPU 청구서를 봅니다. GPU 사용률 5%는 시장의 20배 가격 토큰과 같습니다. APAC AI PoC - 한국은 사용률 문제에서 특별하지 않지만, 이 문제를 해결할 솔루션을 내놓은 첫 번째 국가입니다. PoC → 프로덕션 전환은 모델이 아니라 오케스트레이션에서 막힙니다. 주목할 점: MFU 학술 지표 외 사용률 벤치마크 도입, 미국 클라우드 외 지역(알리바바 클라우드, 텐센트, 온프레미스 기업)에서 동등한 연구 발표, 한국 하이퍼스케일러(NHN 클라우드, KT 클라우드)가 네이티브 스택을 통합할지 여부입니다.