国泰海通计算机KimiK3解密28万亿参数之后

核心观点与关键数据

Kimi K3 模型发布

• Kimi K3 是首个面向开源社区开放的 2.8 万亿参数大模型，上下文窗口达百万级，完整权重计划于 7 月 27 日开源。
• 核心架构创新包括：
  • MoE 架构：900 个专家中高效激活 16 个，扩展效率提升 2.5 倍。
  • 长程任务优化：通过残差网络思想强化注意力机制，提升长程任务表现。
  • 量化与训练：SFT 阶段使用 MXFP4 权重混合训练，降低训练成本，推理端价格约为国外模型的 1/3。

商业化与开源影响

• 定价策略：输入价格 20 元/百万 token，输出价格 100 元/百万 token，C 端毛利率可能低于 10%，B 端定价更具参考价值。
• 开源模型市场空间：
  • 应用场景拓宽：从 coding 扩展至办公（Word/PPT）、生物医药等领域。
  • MaaS 服务潜力：国内头部厂商加速模型与应用结合，推动私有化部署和垂直领域渗透。
  • 市场规模：预计未来几年国内模型市场将加速增长，头部厂商通过产品体系打通微信等平台。

成本结构与训练方法

• 训练成本占比：预训练占 60%，后训练占 30-40%，测试与加速占 10%。
• 未来趋势：预训练成本有望降至 50%，后训练成本占比提升，模型自我训练技术将加速迭代。

对国内厂商的影响

• 技术路径启示：Kimi K3 的 MoE 架构、长程任务优化和超节点部署思路，为国内厂商提供参考。
• 模型自我训练：头部厂商（如智谱、DeepSeek）正探索模型自我驱动训练，推动模型快速迭代（半年内发布大版本）。
• 垂直领域突破：医疗等复杂场景仍需特定数据预训练，但连续学习技术将加速细分领域应用。

关键数据

• 参数量：2.8 万亿
• 上下文窗口：百万级
• 专家数量：900 个（MoE 架构）
• 扩展效率提升：2.5 倍
• 预训练成本占比：60%
• 后训练成本占比：30-40%
• C 端定价：输入 20 元/百万 token，输出 100 元/百万 token