行业观察与智谱技术路线
过去一年,AI行业取得显著进展,OpenAI和Anthropic交替领先,推动智能上限不断突破。智谱AI发布的GLM5.2模型在7000亿参数量级上实现对标海外顶尖模型的能力,尤其在coding和Agent场景达到业界最强水平,并以更优的推理成本和速度推动高水平智能的普及。友商月之暗面发布的K3模型参数量更大,效果接近海外顶尖闭源模型,印证了Scaling Law路线的价值。
尽管近期AI板块出现波动,但模型能力迭代速度加快,开源生态繁荣,下游需求增长,产业长期趋势向好。智谱AI坚持基座模型研发,认为通往AGI的道路远未收敛。
智谱AI模型进展与对比
智谱AI今年推出GM5模型,参数量扩大一倍,预训练数据量接近30T,采用DSA架构并跑通Agent IO技术栈。5.1模型首次针对长城任务优化,可执行复杂长城任务。5.2模型将上下文扩充到100万,引入可控thinking机制,实现更长程的扣定工程端到端交付,达到开源模型历史性里程碑,与Claude和GPT同台竞争。
与Kimi K3模型对比,GM5.2参数量约7400亿,K3达2.8万亿。GM5.2在智能水平和效率上平衡较好,相信继续scaling后效果会超越K3。K3在参数量、专家数量、训练数据量等方面领先,但部署要求更高,速度较慢。
Scaling Law仍加速
Scaling Law仍加速,除了参数量scaling,还包括数据、环境、强化学习和infra的scaling。
- 数据scaling:智谱AI持续提升数据质量,GM5.2训练数据量达100万上下文,并探索合成数据和环境数据,如真实coding agent环境。
- 强化学习:智谱AI提出Sao算法,优化长任务轨迹上的强化学习反馈,支持thinking强度适配,提升多轮智能体强化学习训练效果。
- Infra优化:智谱AI提出layerspe技术减少kv cache存储冗余,提升吞吐132%。提出z cube组网架构,提升集群吞吐15%,降低P99手掌40%。采用DSA+index share协同设计,大幅提高推理效率。高速版模型可达400+ TPS,近期5.2模型速度达五六百TPS。
未来模型规划
- 近期:发布GM5.3模型,继续scaling数据、后训练技术和infra,提升coding实际体验,保持在顶尖coding模型行列。
- 下一代:采用全新架构,支持更大规模,保证高训练和推理效率,对标F级别模型,全面体验达到顶尖水平。
未来趋势与计划
- 长城自制系统(LM driven autonomous agent system):模型将从单一任务转向复杂系统运营,智谱AI的GM5.2在Anton Las的vending bench two任务中表现优异,达到业界领先水平。
- 自我训练(Recursive Self Improvement, RSI):RSI将推动AI迭代速度和安全性提升,竞争模式转向迭代速度和验证能力,智谱AI将积极推动RSI发展。