行业研究公司研究宏观策略财报招股书会议纪要 Token 低空经济十五五 AIGC 大模型

广发电子DEEPSEEK推出专为优化长文本训练与推理设计的注意力机制NSA

2025-02-18 未知机构张博卿

Deepseek推出专为优化长文本训练与推理设计的注意力机制NSA。该机制针对传统模型在长文本应用下的计算复杂度高和内存访问量大问题，采用三种注意力路径进行优化：（1）粗粒度token压缩，减少数据量；（2）细粒度token选择，减少计算量；（3）滑动窗口，限制需关注的序列长度。此外，NSA通过优化内核设计，提升Tensor core和内存访问效率，将算术强度控制在GPU临界值以最大化资源利用。在64k上下文长度下，NSA架构实现训练段9倍前向加速和6倍反向加速，推理端解码速度提升11.6倍。该架构有望降低大模型中长文本应用的推理成本，加速长文本应用落地。

点击免费查看完整报告

广发电子DEEPSEEK推出专为优化长文本训练与推理设计的注意力机制NSA

你可能感兴趣

西部计算机DeepSeek发布创新注意力机制NSA推理速度大幅提高

广发电子deepseek用于MoE模型训练和推理的EP通信库Dee

民生计算机DeepSeek发布最新论文NSA的长文本平权利好什么方向

电子行业先进科技主题周报-周观点：海外大厂发布Q4财报，DeepSeek降低训练与推理成本

电子行业先进科技主题周报：周观点，海外大厂发布Q4财报，DeepSeek降低训练与推理成本

广发传媒互联网AI专题：DeepSeek后训练优化带来的行业变化

人工智能专题：DeepSeek的稀疏注意力机制给AI产业释放更大的发展潜能

MinimaxM3注意力侧的方向转弯带来的长上下文推理成本大幅优化

长文本大模型推理实践——以KVCache为中心的分离式推理架构

超级大厂AI数据中心架构AI基础设施正从训练导向转向推理优化网络与能耗成为核