El agente Xiaowei de WeChat funciona con un modelo 617B MoE secreto: la apuesta discreta de Tencent en la frontera

WeLM, el modelo que impulsa al agente de IA de WeChat, ha escalado en silencio a 617 mil millones de parámetros con un mecanismo de decodificación no revelado. Sin benchmarks, sin artículos: solo una implementación con mil millones de usuarios.

En términos sencillos: El agente Xiaowei de Tencent, que se está probando en fase gris dentro de WeChat, funciona con WeLM, un modelo disperso de mezcla de expertos que ha crecido en silencio hasta alcanzar 617 mil millones de parámetros. Sin benchmarks públicos. Sin artículos. Solo una prueba a gran escala en fase gris en una de las plataformas de mensajería con mayor tráfico del mundo.

El hecho

Según las revelaciones del equipo de IA de WeChat reportadas por Pandaily, WeLM ha alcanzado 617 mil millones de parámetros en su versión dispersa de MoE, activando 23 mil millones de parámetros por token. Tencent nunca ha publicado WeLM. El modelo impulsa a Xiaowei, el asistente de IA integrado de WeChat, que actualmente se encuentra en fase de prueba gris en la base de 1.300 millones+ de usuarios activos mensuales de WeChat.

Nuestra interpretación

La narrativa de la carrera de los LLM centrada en los rankings pasa por alto modelos como WeLM: de escala puntera, en producción, completamente cerrados y respaldados por una ventaja de distribución que ningún laboratorio basado en API puede igualar. Alibaba compite con Qwen mediante benchmarks y pesos abiertos. Tencent compite mediante incrustaciones.

Bajo el capó: Las arquitecturas dispersas de MoE activan solo un subconjunto de parámetros por token: WeLM activa 23 mil millones de sus 617 mil millones por paso de inferencia. Esto es comparable, en términos de cómputo, a un modelo denso de ~23 mil millones, lo que explica cómo un modelo de esta escala nominal puede ejecutarse en una interfaz de chat orientada al consumidor con una latencia aceptable para mensajería.

El "mecanismo de decodificación oculta" revelado en el informe probablemente se refiere a la decodificación especulativa o a una estrategia de salida temprana optimizada para la latencia: el tipo de ingeniería de inferencia que no aparece en los artículos pero hace que los productos sean rápidos.

Observar

Cualquier revelación pública de benchmarks de WeLM; si Tencent libera los pesos de WeLM (poco probable); cómo se desempeña Xiaowei frente a ChatGPT y Kimi a medida que la prueba gris se expande.