WeChatのXiaoweiエージェントは、秘密の617B MoEで稼働 - テンセントの静かなフロンティアへの賭け

WeLMは、WeChatのAIエージェントを支えるモデルであり、6170億のパラメータに静かに拡大したが、その解読メカニズムは非公開のままである。ベンチマークも論文もなく、単に10億人のユーザーによる展開が行われているだけだ。

簡単に言うと： TencentのXiaoweiエージェントはWeChat内でグレーテスト中で、6170億パラメータの疎なMixture-of-Expertsモデル「WeLM」で稼働。公開ベンチマークなし、論文なし。世界最大級のメッセージングプラットフォームで大規模なグレーテストを実施中。

事実

Pandailyの報道によると、WeChat AIチームの開示によれば、WeLMの疎なMoE版は6170億パラメータに達し、各トークンで230億パラメータをアクティブ化。TencentはWeLMを公開しておらず、同モデルはWeChatに統合されたAIアシスタント「Xiaowei」を動かす。現在はWeChatの13億以上のMAUに対しグレーテスト中。

当社の見解

LLMレースのリーダーボード中心の narrative は、WeLMのようなモデルを見落としている：フロンティア規模、実運用向け、完全クローズドで、APIファーストのラボでは真似できない流通の優位性を持つ。AlibabaはベンチマークとオープンウェイトでQwenと競う。Tencentは埋め込みで競う。

内部構造： 疎なMoEアーキテクチャは各トークンでパラメータのサブセットのみをアクティブ化 — WeLMは推論ステップごとに6170億のうち230億をアクティブ化。これは計算上は約230億の密モデルに相当し、この名目上の規模のモデルがメッセージングに適したレイテンシで消費者向けチャットインターフェースで動作する理由を説明する。

報告で明らかにされた「隠れたデコーディングメカニズム」は、おそらく speculative decoding やレイテンシ最適化された early-exit ルーティング戦略を指す — 論文にはならないが製品を高速化する推論エンジニアリングの一種。

見どころ

WeLMの公開ベンチマーク開示の有無；TencentがWeLMのオープンウェイト化を行うか（可能性低）；グレーテスト拡大に伴いXiaoweiがChatGPTやKimiに対しどのようなパフォーマンスを発揮するか。