Агент Xiaowei от WeChat работает на секретной модели 617B MoE — тихое авангардное решение от Tencent

WeLM, модель, лежащая в основе ИИ-агента WeChat, quietly масштабировалась до 617 миллиардов параметров с undisclosed механизмом декодирования. Ни бенчмарков, ни статей — только развёртывание для миллиарда пользователей.

Простыми словами: Агент Tencent Xiaowei, проходящий серое тестирование внутри WeChat, работает на модели WeLM — разреженной смешанной модели экспертов, которая тихо выросла до 617 миллиардов параметров. Нет публичных бенчмарков. Нет статей. Только крупномасштабное серое тестирование на одной из самых загруженных платформ обмена сообщениями в мире.

Факт

Согласно раскрытым данным команды AI WeChat, о которых сообщает Pandaily, модель WeLM достигла 617 миллиардов параметров в своей разреженной версии MoE, активируя 23 миллиарда параметров на каждый токен. Tencent никогда не публиковала WeLM. Модель питает Xiaowei — встроенного AI-ассистента WeChat, который в настоящее время проходит серое тестирование на базе более чем 1,3 миллиарда MAU.

Наше мнение

Нарратив гонки LLM, ориентированный на лидерборды, упускает из виду модели вроде WeLM: передовые по масштабу, производственные, полностью закрытые, поддерживаемые распределительным преимуществом, которое не могут повторить лаборатории, ориентированные на API. Alibaba конкурирует с Qwen через бенчмарки и открытые веса. Tencent конкурирует через встраивание.

Под капотом: Разреженные архитектуры MoE активируют только часть параметров на каждый токен — WeLM активирует 23 миллиарда из 617 миллиардов на каждом шаге вывода. Это сопоставимо с плотной моделью ~23 миллиарда с точки зрения вычислительных затрат, что объясняет, как модель такого номинального масштаба может работать в интерфейсе общения для потребителей с задержкой, приемлемой для обмена сообщениями.

Раскрытый в отчёте «скрытый механизм декодирования» вероятно относится к спекулятивному декодированию или стратегии раннего выхода маршрутизации, оптимизированной для снижения задержки — это тот вид инженерных решений для вывода, которые не становятся статьями, но делают продукты быстрыми.

На что обратить внимание

Любые публичные раскрытия бенчмарков WeLM; откроет ли Tencent веса WeLM (маловероятно); как Xiaowei сравнится с ChatGPT и Kimi по мере расширения серого тестирования.