O agente Xiaowei do WeChat opera em um secreto MoE de 617B - a aposta discreta da Tencent na fronteira

WeLM, o modelo por trás do agente de IA do WeChat, escalou silenciosamente para 617 bilhões de parâmetros com um mecanismo de decodificação não divulgado. Sem benchmarks, sem artigos - apenas um deploy com um bilhão de usuários.

Em termos simples: O agente Xiaowei da Tencent, em fase de teste cinza dentro do WeChat, é executado no WeLM — um modelo esparso de mistura de especialistas que cresceu silenciosamente para 617 bilhões de parâmetros. Sem benchmarks públicos. Sem artigos. Apenas um teste em larga escala em uma das plataformas de mensagens com maior tráfego do mundo.

O fato

De acordo com divulgações da equipe de IA do WeChat relatadas pela Pandaily, o WeLM atingiu 617 bilhões de parâmetros em sua versão esparsa de MoE, ativando 23 bilhões de parâmetros por token. A Tencent nunca publicou o WeLM. O modelo alimenta o Xiaowei, assistente de IA integrado do WeChat — atualmente em fase de teste cinza na base de 1,3 bilhão+ de MAU do WeChat.

Nossa análise

A narrativa de "classificação em primeiro lugar" da corrida de LLMs ignora modelos como o WeLM: de fronteira em escala, em produção, totalmente fechado e apoiado por uma vantagem de distribuição que nenhum laboratório focado em API pode igualar. A Alibaba compete com o Qwen por meio de benchmarks e pesos abertos. A Tencent compete via incorporação.

Por baixo do capô: Arquiteturas esparsas de MoE ativam apenas um subconjunto de parâmetros por token — o WeLM ativa 23B de seus 617B a cada etapa de inferência. Isso é comparável a um modelo denso de ~23B em termos de computação, o que explica como um modelo nessa escala nominal pode ser executado em uma interface de chat voltada ao consumidor com latência aceitável para mensagens.

O "mecanismo oculto de decodificação" divulgado no relatório provavelmente se refere à decodificação especulativa ou a uma estratégia de roteamento de saída antecipada otimizada para latência — o tipo de engenharia de inferência que não vira artigos, mas torna os produtos rápidos.

Acompanhar

Qualquer divulgação pública de benchmark do WeLM; se a Tencent abrir os pesos do WeLM (improvável); como o Xiaowei performa em comparação ao ChatGPT e ao Kimi à medida que o teste cinza se expande.