Qwen 3.5-122B 在 Mac Studio 上运行每日驱动程序 - 修复了 3 个错误,静默切换

构建仅限订阅用户 Jul 12, 2026 at 11:177加入收藏

Qwen 3.5-122B 在 Mac Studio 上运行每日驱动程序 - 修复了 3 个错误,静默切换
Illustration : Léa Fontaine

一位工程师在其博客上记录了三个补丁,这些补丁将大型模型Qwen 3.5(通过MLX)转变为Mac Studio上的可靠日常伴侣。本地硬件在实践领域逐步推进,补丁接补丁。

用简单的话来说。 一位工程师(mrzk.io,2026年7月)记录了他在MLX堆栈中修复的三个bug,以便在Mac Studio上运行一个大型开源权重的Qwen 3.5模型作为每日驱动器。这是一个微弱但可感知的信号:本地化正在逐步赶上,一个补丁一个补丁地。

背景

MLX是苹果在M系列芯片上的推理框架;它利用了统一内存。在配置良好的Mac Studio上(M3 Ultra最多可配置512GB统一RAM)通过量化使Qwen 3.5模型(根据不同变体,参数量从约100亿到2350亿不等)运行是理论上可行的。该博客记录了实际操作中遇到的问题——具体测试的变体名称需要在文章中核实。

幕后——补丁的性质

根据该文章,有三个bug阻碍了日常使用:

  1. 一个长上下文的bug——在超过一定数量的token后,生成质量会下降。
  2. 一个量化的bug——4-bit转换在某些模型层上会产生无效输出。
  3. 一个采样的bug——在token选择中的一个边界情况会影响质量。

具体细节(补丁的层、修复机制、上游PR)在文章中有详细说明——想要复现的人可以阅读。

分析

该文章不仅仅是关于补丁的,它还表明Apple + Qwen堆栈已经达到了值得调试的水平。这是从“演示中可以运行”到“我每天都依赖它”的转变。硬件成本仍然显著——配置用于此用途的Mac Studio需要花费数千美元——但对于数据不能离开其设备的专业人士来说,这已经变得可行。

情景

基础(55%):到2027年中期,Apple + Qwen/DeepSeek/Llama将成为3-5%的高数据敏感度开发者的可信选择。乐观(25%):一个Qwen或等效模型在普通消费级机器上达到前沿水平;方程式将改变。悲观(20%):堆栈的分散性(MLX、llama.cpp、vLLM、exllama)削弱了整体,每个模型都需要自己的补丁。

构建方面的影响

  • 本地化找到了一个明确的用例:数据敏感性+延迟+边际成本趋近于零。
  • 注意力从基准测试转向修复时间——从模型发布到实际使用可靠所需的bug数量。
  • 开源权重生态系统使贡献面积增大:每个上游补丁都很重要。

风险

依赖MLX(苹果可能会破坏API),大型模型4-bit量化的质量,长时间负载下权重的稳定性。

所以呢

“云 vs 本地”的辩论并非意识形态问题。它是技术问题,并且是一个一个bug地解决。这种类型的文章——非戏剧性的,非常具体的——是即将到来的转变的最佳指标。

内容仅限会员访问

免费创建账户,即可访问我们的全部内容和每周评论。

本文由人工智能撰写,并经人工编辑审核。

我们的编辑部
Your Linux servers, as a desktop.
TermalOSSponsored
Ops, reimagined

Your Linux servers, as a desktop.

Agentless SSH monitoring, a full remote desktop and an AI ops copilot — no agents to install. Everything stays on your machine.

SSHMonitoringAI Ops
Get early access
这篇文章对您有帮助吗?

10 人赞了这篇文章

A
Aiko Nakamura高级软件工程师
🇨🇳 高级工程师,大规模平台。撰写关于用AI构建的内容。
分享:
评论 (7)

登录后即可参与讨论。

LecteurDuDimanche 13 Jul 2026 · 05:08

Est-ce que ces corrections pourraient aussi améliorer la gestion des langues ?

LitLover42 13 Jul 2026 · 07:32

Peut-être, mais pour les langues, il faudrait des ajustements plus précis que ces correctifs généraux.

sandrine.b 13 Jul 2026 · 05:01

C'est bien de rendre ces modèles plus fiables, mais est-ce que ça les rend aussi plus précis sur les cas rares ?

Dr. L. 13 Jul 2026 · 04:37

Ces patches pourraient aussi améliorer l'efficacité sur des machines moins puissantes ?

1
curio_usa 12 Jul 2026 · 07:39

Est-ce que ces corrections pourraient aider à faire tourner des modèles similaires sur d'autres appareils Apple Silicon ?

Emma_London 12 Jul 2026 · 07:01

Impressionnant ! Ça donne quoi sur d'autres machines ?

unLecteurCurieux 12 Jul 2026 · 06:58

Super de voir l'IA tourner en local ! Mais ça ne ralentit pas le modèle sur d'autres tâches ?

FoodieChicago 12 Jul 2026 · 06:50

Intéressant de voir l'avancée. Est-ce que ces correctifs améliorent aussi l'efficacité du modèle ou juste les bugs ?

Your Linux servers, as a desktop.
TermalOSSponsored
Ops, reimagined

Your Linux servers, as a desktop.

Agentless SSH monitoring, a full remote desktop and an AI ops copilot — no agents to install. Everything stays on your machine.

Get early access
主题
浏览
信息