大模型系列报告（一）：Transformer架构的过去、现在和未来

核心观点

• Transformer架构的过去：受人类大脑的启示，Transformer架构通过注意力机制高效处理序列数据，显著提升了并行处理速度和长距离依赖建模能力，并在规模扩展和多模态应用方面展现出巨大潜力。
• Transformer架构的局限性：计算复杂度高和计算成本高，限制了其在长序列任务中的应用。
• Transformer架构的未来：未来发展方向主要包括两条路径，一是探索全新的架构，如RetNet、Mamba、RWKV、Hyena和线性注意力机制等，二是通过优化注意力机制等方式对现有架构进行升级，以实现更高的性能、更强的泛化能力和更低的资源消耗。

关键数据和研究结论

• Transformer在处理长序列文本方面表现出色，但计算复杂度随着序列长度呈平方级增长。
• RetNet架构结合了RNN和Transformer的优点，能够节省内存并提升推理速度，但长距离依赖建模能力仍需进一步验证。
• Mamba架构采用循环框架和状态空间模型，实现了线性增长的计算开销，提升了长序列处理效率，但存在记忆丢失和泛化能力弱等问题。
• RWKV架构融合了RNN和Transformer的优势，支持无限长序列处理，具有恒定的内存占用和计算速度，但对外部提示词格式敏感。
• Hyena架构通过高效的卷积操作，显著降低了计算复杂度，但灵活性较差，应用场景有限。
• 线性注意力机制通过线性化Softmax操作，降低了时间复杂度，提升了模型效率，但长距离依赖建模能力较差。
• Agent Attention、TransNormer LLM和MiniMax-01等模型在融合线性注意力和Softmax注意力机制方面取得了一定进展。
• 未来AI大模型的发展方向包括探索全新的基础理论和模型架构，以及在现有框架内深挖潜力，例如参数高效化、开发更智能的推理方法和降低对数据和算力的依赖等。

投资建议

• 短期来看，Transformer架构依然是大模型的主流，建议关注基础设施领域的公共事业公司，如英伟达、海思信息、寒武纪、瀚博数据、中科曙光、浪潮信息、润泽科技、欧菲光、紫光数创等，同时持续关注全球各大模型厂商和学界的创新进展。

风险提示

• 技术迭代不及预期
• 商业化落地不及预期
• 政策支持不及预期
• 全球宏观经济风险