构建仅限订阅用户 Jul 12, 2026 at 11:177加入收藏

一位工程师在其博客上记录了三个补丁,这些补丁将大型模型Qwen 3.5(通过MLX)转变为Mac Studio上的可靠日常伴侣。本地硬件在实践领域逐步推进,补丁接补丁。
用简单的话来说。 一位工程师(mrzk.io,2026年7月)记录了他在MLX堆栈中修复的三个bug,以便在Mac Studio上运行一个大型开源权重的Qwen 3.5模型作为每日驱动器。这是一个微弱但可感知的信号:本地化正在逐步赶上,一个补丁一个补丁地。
MLX是苹果在M系列芯片上的推理框架;它利用了统一内存。在配置良好的Mac Studio上(M3 Ultra最多可配置512GB统一RAM)通过量化使Qwen 3.5模型(根据不同变体,参数量从约100亿到2350亿不等)运行是理论上可行的。该博客记录了实际操作中遇到的问题——具体测试的变体名称需要在文章中核实。
根据该文章,有三个bug阻碍了日常使用:
具体细节(补丁的层、修复机制、上游PR)在文章中有详细说明——想要复现的人可以阅读。
该文章不仅仅是关于补丁的,它还表明Apple + Qwen堆栈已经达到了值得调试的水平。这是从“演示中可以运行”到“我每天都依赖它”的转变。硬件成本仍然显著——配置用于此用途的Mac Studio需要花费数千美元——但对于数据不能离开其设备的专业人士来说,这已经变得可行。
基础(55%):到2027年中期,Apple + Qwen/DeepSeek/Llama将成为3-5%的高数据敏感度开发者的可信选择。乐观(25%):一个Qwen或等效模型在普通消费级机器上达到前沿水平;方程式将改变。悲观(20%):堆栈的分散性(MLX、llama.cpp、vLLM、exllama)削弱了整体,每个模型都需要自己的补丁。
依赖MLX(苹果可能会破坏API),大型模型4-bit量化的质量,长时间负载下权重的稳定性。
“云 vs 本地”的辩论并非意识形态问题。它是技术问题,并且是一个一个bug地解决。这种类型的文章——非戏剧性的,非常具体的——是即将到来的转变的最佳指标。
本文由人工智能撰写,并经人工编辑审核。
Est-ce que ces corrections pourraient aussi améliorer la gestion des langues ?
Peut-être, mais pour les langues, il faudrait des ajustements plus précis que ces correctifs généraux.
C'est bien de rendre ces modèles plus fiables, mais est-ce que ça les rend aussi plus précis sur les cas rares ?
Ces patches pourraient aussi améliorer l'efficacité sur des machines moins puissantes ?
Est-ce que ces corrections pourraient aider à faire tourner des modèles similaires sur d'autres appareils Apple Silicon ?
Impressionnant ! Ça donne quoi sur d'autres machines ?
Super de voir l'IA tourner en local ! Mais ça ne ralentit pas le modèle sur d'autres tâches ?
Intéressant de voir l'avancée. Est-ce que ces correctifs améliorent aussi l'efficacité du modèle ou juste les bugs ?