总结
背景
近年来，中国人工智能技术加速与实体经济深度融合，推动生产模式转型，催生数据、算力、算法等新型生产要素。国家层面持续推动人工智能技术发展，实施“人工智能+”行动，加快构建产业综合标准化体系，推动AI规模化商业化应用。
AI大模型训练与推理技术应用
企业AI大模型训练与推理（训推）技术应用广泛，典型场景包括模型微调训练和推理。预计2025年42%的中国企业开始进行大模型测试和概念验证，2028年中国企业级Agent应用市场规模将达270+亿美元，2030年AI渗透率将达80%。
大模型微调训推场景面临的挑战
当前企业用户在AI训推场景中面临数据安全、用算安全和成本控制三重挑战。三种典型算力解决方案（自建、租赁、网络访问）均存在数据泄漏风险和算效成本过高问题。
基于智能IP广域网（AI WAN）的解决方案
报告提出基于AI WAN的存算分离与云边协同训推技术方案，解决企业数据安全、用算安全和成本控制问题。
方案总体架构
- 存算分离模型微调训练：包含“存、网、算、控”四部分，基于SRv6智能IP广域网，采用精准流控、自动流级调度技术实现高效无损传输，保障数据传输安全，满足企业敏感数据“不落盘”需求。
- 云边协同推理：基于SRv6智能IP广域网，利用模型拆分学习技术、精准流控和自动流级调度技术，实现“算、网、端”三层协同联动，保障数据不出域，降低企业算力部署规模。
关键技术
- 模型拆分学习技术：将模型首尾层部署在企业侧，中间层部署在云端，仅传输中间层输出结果，保障数据安全和模型安全，优化算力资源配置。
- 数据安全：关键数据全程闭环在企业侧，无跨域传输环节。
- 模型安全：远端中心无完整模型，仅传递过程向量数据。
- 算力资源优化配置：大幅降低企业算力投入，整体算效损失控制在5%以内。
- 精准流控技术：结合SRv6技术，实现租户间拥塞不扩散，保障企业用算业务无损传输，解决多租户带宽共享中的拥塞扩散问题。
- 自动流级调度技术：基于优化算法进行动态路径规划，优化整网带宽资源利用，保障智算业务质量，降低企业用算成本。
实验验证
- 存算分离拉远算效：LLAMA2-13B、Qwen2.5vl-32B、RESNET、DeepSeek等大模型100KM和400KM存算拉远场景下，算效劣化低于3%。
- 云边协同推理安全性：集中式推理抓包可见prompt、model、key等关键信息，云边协同推理抓包内容不可见。
- 云边协同算力资源配置优化：Qwen 32B模型在200KM云边协同推理场景下，劣化不超过5%，云边协同推理边侧算力利用率平均为4%，云侧算力利用率在45.88%。
总结展望
存算分离与云边协同训推技术方案有效应对数据安全、用算安全和成本控制挑战，实现数据安全和用算安全显著提升。未来将进一步开展技术验证与优化，扩大实验规模与场景覆盖，推动行业试点，推进相关技术的标准化工作，打造健康、繁荣的人工智能技术生态。
