人工智能专题：DeepSeek的稀疏注意力机制给AI产业释放更大的发展潜能

注意力机制与大模型发展的关系
人类通过选择性关注关键信息提高处理效率，深度学习引入注意力机制（Attention Mechanism）解决长文本处理问题。2017年Transformer模型提出后，注意力机制成为核心模块，解决长序列遗忘问题。稀疏注意力机制将计算复杂度从O(L²)降至亚平方级（如O(L*log L)），突破内存与算力瓶颈，推动大模型上下文长度扩展至128K甚至1M。

DeepSeek在注意力机制方面的技术改进
DeepSeek通过算法、系统、硬件三层面优化提升大模型性能，主要贡献包括：

• MLA（多头潜在注意力）：通过低秩近似压缩键值缓存（KV Cache），减少约90%显存占用，保持模型性能，显著降低R1成本。
• NSA（原生稀疏注意力）：2025年2月提出，通过算法与硬件协同优化，将长文本处理速度提升11倍，性能与全注意力模型相当或更优。NSA将模型上下文拓展至百万tokens，解决推理与预训练阶段稀疏注意力不一致问题，成为ACL 2025最佳论文之一。
• DSA（DeepSeek稀疏注意力）：2025年9月发布，基于V3.1-Terminus引入，保持性能稳定的同时大幅提升训练推理效率，模型价格降低约50%。DSA通过“闪电索引器”逐词筛选重要词汇进行细粒度稀疏计算，与NSA的“分块”策略不同，成本更低但长期稳定性待验证。

DSA和NSA给AI产业释放的发展潜能
随着多模态需求增加，输入（x）和输出（y）长度均变长，传统Scaling范式受限。OpenAI o1和DeepSeek-R1通过后训练提升模型能力。DeepSeek-R1-Zero通过强化学习后训练，模型输出长度和AIME精度持续提升。DSA和NSA通过提升计算效率与上下文拓展，为后训练释放更大潜能，推动模型能力突破。

风险提示
国际形势的不确定性。