GPU subutilizados em 5%: Elice, Nota, Lablup propõem a resposta coreana a um gargalo global

Um estudo da CAST AI em ~23.000 clusters Kubernetes (AWS/Azure/GCP): 5% de utilização média de GPU. Três editores coreanos respondem no mesmo dia. O alavancador estrutural não é mais compute, é melhor compute.

Em termos simples

Um estudo da CAST AI publicado em 31 de julho e divulgado pela ETNews aponta que a utilização média de GPUs em cerca de 23 mil clusters Kubernetes operados nos três grandes provedores de nuvem (AWS, Azure, GCP) é de apenas 5% quando o Kubernetes não está otimizado. Três editores coreanos — Elice, Nota e Lablup — respondem no mesmo dia com suas soluções de produto. Em outras palavras: o capex com GPU já está sendo pago, mas o uso está aquém em todo o mundo; a Coreia é o primeiro país a publicar editores posicionados para resolver o problema.

O fato, no contexto

ETNews, 31 de julho de 2026. O artigo agrega dois níveis: um dado GLOBAL (o estudo da CAST AI, 5% de utilização média medida em ~23 mil clusters K8s operados na AWS/Azure/GCP quando o Kubernetes não está otimizado) e uma RESPOSTA LOCAL (três editores coreanos que propõem cada um uma abordagem para a solução). Contexto imediato para a Coreia: o governo fechou, no final de julho, um pacote de US$ 950 bilhões com os Estados Unidos, incluindo uma parcela de capex com GPU (Vera Rubin, plano de 10 mil GPUs no próximo exercício, segundo a ETNews de 19 de julho). O país está comprando massivamente enquanto um dado global lembra que o compute não orquestrado é capex desperdiçado.

Under the hood

Três abordagens técnicas cobertas pela Elice, Nota e Lablup:

• Batching e scheduling — a inferência individual subutiliza sistematicamente uma A100/H200; é necessário dynamic batching (como o vLLM) e multi-tenant.
• Model routing — muita carga não precisa do modelo grande; um roteador que direciona para um modelo menor ou uma variante quantizada recupera 20-40%.
• KV cache management — contextos longos explodem a memória; a compressão e a persistência inteligentes evitam a subutilização dos slots.

Elice (plataformas de treinamento/empresariais), Nota (compressão de modelos) e Lablup (orquestração multi-tenant com Backend.AI) são as três faces da mesma equação de orquestração.

Então, o que fazer?

Dois fios convergem. Token-budget-caps — o CFO não vê o preço do token, ele vê a fatura de GPU. Um GPU com 5% de utilização é o mesmo que um token com preço 20 vezes maior que o mercado. APAC-AI-poc — a Coreia não é especial no quesito utilização, mas é a primeira a publicar editores posicionados para a solução. A transição de POC para produção esbarra na orquestração, não no modelo. A se observar: adoção de benchmarks de utilização além do MFU acadêmico, publicação de estudos equivalentes fora da nuvem dos EUA (Alibaba Cloud, Tencent, on-prem corporativo), e se os hyperscalers coreanos (NHN Cloud, KT Cloud) integram essas stacks nativamente.