Flash-MSA：在不破产的情况下，在一百万个token上进行训练

简单来说

Flash-MSA 是一个 GPU 内核，在训练过程中将稠密注意力替换为结构化的稀疏注意力。目标是使在长度为百万 tokens 的序列上进行训练成为可能，而不会超出计算预算。

事实

2026 年 7 月 12 日由 Nandu Ruganesh（项目 GitHub 页面）发布，Flash-MSA 专门针对 训练（而 FlashAttention 3 主要在推理友好方面取得了进展）。其想法是通过块状稀疏注意力模式、前向/后向内核的融合以及针对 Hopper（H100/H200）和 Blackwell 的内存管理来实现。

分析

长上下文的瓶颈一直是训练，而不是推理。从 128k 到 1M tokens 的稠密注意力会将激活内存和理论计算量增加约 60 倍（注意力为 O(n²)，长度比约 7.8 倍）。当前的解决方案（环形注意力、激进的张量并行）虽然有效，但会分割堆栈并使调试变得复杂。

Flash-MSA 的假设是：大多数长距离依赖关系是局部的或叙事性的（代码和文档中的重复块模式）。通过将稀疏性作为内核的一等公民，可以保持模型端稠密注意力的简单性，并在内核端获得规模。这与推理端的 FlashAttention 类似，只是两年后才出现。

幕后

仓库宣布（需通过第三方基准测试验证）：在 H100 上，与基线稠密模型相比，512k → 1M 序列的 前向传递加速约 4 倍，后向传递加速约 2.7 倍。激活内存减少约 5 倍。块模式可配置（窗口大小、扩张）；内核提供 PyTorch 无缝替换的 API。

仍不确定的是：(1) 在长上下文基准测试（Needle-in-Haystack、RULER）中，MSA 训练与稠密训练后的模型质量 - Ruganesh 承诺将提供一份报告；(2) 在 Blackwell（B200）上的可移植性，其内存层次结构不同。

情景

• 广泛采用（40 %）：如果确认的基准测试结果可重复，主要在开源训练者（Together、Fireworks、DeepSeek）中采用。
• 有针对性的集成（45 %）：前沿实验室采用该模式，但使用自己的内核，没有明显的归属。
• 平行生态系统（15 %）：如果质量基准测试不达标，Flash-MSA 将仍然是一个小众项目。

所以呢

对于那些在长上下文中进行训练或微调的人来说，下周值得试试 Flash-MSA。对于那些购买模型的人来说，到 2026 年底，在 512k+ tokens 上训练模型的成本将大幅降低。可以预期“1000 万 tokens 上下文”的竞争再次成为商业论据，但实际长度的质量仍然是真正的区分点。

关注点

第三方基准测试报告、Blackwell 的可重复性以及在 vLLM/SGLang 服务端的集成。