GPU недогружены на 5 %: Elice, Nota, Lablup предлагают корейское решение глобальной проблемы

Исследование CAST AI на ~23 000 кластерах Kubernetes (AWS/Azure/GCP): средняя загрузка GPU составляет 5 %. Три корейских разработчика ответили в тот же день. Структурный рычаг заключается не в увеличении вычислительных мощностей, а в их более эффективном использовании.

Простыми словами

Исследование CAST AI, опубликованное 31 июля и переданное ETNews, оценивает среднее использование GPU в размере 5 % в примерно 23 000 кластерах Kubernetes, эксплуатируемых в трёх крупнейших облаках (AWS, Azure, GCP), когда Kubernetes не оптимизирован. Три корейских разработчика — Elice, Nota и Lablup — представили свои решения в тот же день. Иными словами: капитальные затраты на GPU уже оплачены, а их использование остаётся низким по всему миру; Корея стала первой страной, где разработчики предлагают решения для исправления ситуации.

Факт в контексте

ETNews, 31 июля 2026. Статья объединяет два уровня: глобальную статистику (исследование CAST AI, 5 % среднего использования на ~23 000 кластерах K8s в AWS/Azure/GCP при отсутствии оптимизации Kubernetes) и локальный ответ (три корейских разработчика, предлагающих свои решения для исправления ситуации). Непосредственный контекст для Кореи: в конце июля правительство заключило пакет на 950 млрд долларов с США, включая компонент капитальных затрат на GPU (проект «Вера Рубин», план закупки 10 000 карт в следующем финансовом году, согласно ETNews от 19 июля). Страна массово закупает GPU, в то время как глобальные данные напоминают, что неоптимизированные вычислительные ресурсы — это потраченные впустую капитальные затраты.

Под капотом

Три технических подхода, которые предлагают Elice, Nota и Lablup:

• Багчинг и планирование — индивидуальная инференция систематически недоиспользует A100/H200; необходим динамический багчинг (как в vLLM) и мультитенантность.
• Маршрутизация моделей — значительная часть нагрузки не требует крупных моделей; маршрутизатор, переключающийся на более компактные модели или квантованные варианты, позволяет сэкономить 20–40 %.
• Управление KV-кэшем — длинные контексты перегружают память; интеллектуальное сжатие и персистентность позволяют избежать неэффективного использования слотов.

Elice (платформы для обучения и корпоративных решений), Nota (сжатие моделей) и Lablup (мультитенантная оркестрация Backend.AI) представляют три аспекта одной и той же задачи по оптимизации.

Что дальше

Два тренда сходятся. Ограничения бюджета токенов — CFO не видит цену токена, он видит счёт за GPU. GPU с 5 % использованием эквивалентен токену с ценой в 20 раз выше рыночной. APAC-AI-poc — Корея не уникальна по уровню использования GPU, но она первая, где разработчики предлагают решения для исправления ситуации. Переход от POC к продакшену упирается в оркестрацию, а не в модель. На что обратить внимание: внедрение бенчмарков использования за пределами академического MFU, публикация аналогичных исследований за пределами американских облаков (Alibaba Cloud, Tencent, корпоративные on-prem), а также интеграция этих решений корейскими гиперскейлерами (NHN Cloud, KT Cloud).