GPU sous-utilisés à 5 % : Elice, Nota, Lablup proposent la réponse coréenne à un pinch mondial

In plain terms

Une étude CAST AI publiée le 31 juillet et relayée par ETNews chiffre à 5 % l'utilisation moyenne des GPUs dans environ 23 000 clusters Kubernetes exploités chez les trois grands clouds (AWS, Azure, GCP) quand Kubernetes n'est pas optimisé. Trois éditeurs coréens - Elice, Nota, Lablup - répondent le même jour avec leurs solutions produit. Autrement dit : le capex GPU se paie déjà, l'usage traîne partout dans le monde ; la Corée est la première à publier des éditeurs positionnés sur le fix.

Le fait, dans le contexte

ETNews, 31 juillet 2026. L'article agrège deux niveaux : un chiffre GLOBAL (l'étude CAST AI, 5 % d'utilisation moyenne mesurée sur ~23 000 clusters K8s exploités chez AWS/Azure/GCP quand Kubernetes n'est pas optimisé), et une RÉPONSE LOCALE (trois éditeurs coréens qui proposent chacun un angle du fix). Contexte immédiat pour la Corée : le gouvernement a bouclé fin juillet un package 950 Md$ avec les États-Unis, dont un volet capex GPU (Vera Rubin, plan de 10 000 cartes sur l'exercice suivant selon ETNews du 19 juillet). Le pays achète massivement pendant qu'un chiffre global vient rappeler que le compute non orchestré est du capex gaspillé.

Under the hood

Trois angles techniques que couvrent Elice, Nota et Lablup :

• Batching et scheduling - l'inférence individuelle sous-utilise systématiquement une A100/H200 ; il faut du dynamic batching (comme vLLM) et du multi-tenant.
• Model routing - beaucoup de charge n'a pas besoin du gros modèle ; un router qui bascule vers un modèle plus petit ou une variante quantisée récupère 20-40 %.
• KV cache management - les longs contextes explosent la mémoire ; la compression et la persistance intelligentes évitent la sous-utilisation des slots.

Elice (plateformes formation/entreprise), Nota (compression modèles) et Lablup (orchestration multi-tenant Backend.AI) sont les trois faces de la même équation d'orchestration.

So what

Deux fils convergent. Token-budget-caps - le CFO ne voit pas le prix du token, il voit la facture GPU. Un GPU à 5 % d'utilisation, c'est la même chose qu'un token à 20x le prix marché. APAC-AI-poc - la Corée n'est pas particulière sur le taux d'utilisation, mais elle est la première à publier des éditeurs positionnés sur le fix. Le passage POC → prod bute sur l'orchestration, pas sur le modèle. À surveiller : adoption de benchmarks d'utilisation au-delà du MFU académique, publication d'études équivalentes hors US-cloud (Alibaba Cloud, Tencent, on-prem enterprise), et si les hyperscalers coréens (NHN Cloud, KT Cloud) intègrent ces stacks natifs.