金镝：九天人工智能大模型创新实践

中国移动第四届科技周暨战略性新兴产业共创发展大会 九天人工智能大模型创新实践 中国移动研究院金镝 1 大模型带来产业发展范式变革 大模型带来通用人工智能的曙光，催生新的范式 人类社会正在步入通用人工智能新时代，科学技术体系、产业布局及社会治理模式都将被深刻改变，世界发展迎来全新范式。 生产力发展 通用人工智能时代 蒸汽时代电气时代 消费互联网时代 数字经济时代 农业时代 1760s 工业时代 1970s 信息时代2020s 大模型带来新的业务赋能模式：从X+AI转向AI+X 大模型的变革性作用，将激发智慧内生赋能模式，重塑业务流程、形态、服务模式、价值呈现 X+AIAI+X 在现有行业业务流程中，以智能化技术提升业务成效 以通用人工智能技术重构业务内核，实现全新业务形态与模式 AI+网络AI+产品AI+客服AI+OA 语音识别实体词识别 ... 投诉用户 客服接听 生成工单 工单处理 投诉用户 客服接听 生成工单 工单处理 AI赋能 新形态新产品 AI内生 大模型 智算基础设施 新模式 2 九天通专大模型及技术特色 中国移动构建“九天”人工智能大模型体系 基础大模型：加快构建适用于泛场景的自主可控通用基础大模型，打造通用智能底座 行业大模型：聚焦供给侧，加快构建行业大模型，加速国民经济主体行业的智能化转型升级，促进我国整体生产力跃升 基于体系化人工智能的智力运营 性能评测 安全评测 数据评测 行业智能化应用 支撑 工业生产 民生服务 通信特色 衍生 ... 医疗司法模型模型 ... 能源工业模型模型 网络模型 ... 城市模型 政务模型 L1政府 行业大模型治理 ... 客服模型 大小模型 L0 基础大模型 语言大模型 视觉大模型 语音大模型 结构化数据大模型 多模态大模型 算力数据网络 基础基础评测 演进路径 9B13.9B 57B100B+ •汇聚主体行业龙头的特色数据 •主体行业特色任务抽象迁移指导数据供给 • 7 适用于泛场景的自主可控通用基础大模型 更强调供给侧 通用叠加个性化训练 异构硬件灵活部署 •时空细粒度拆解迭代提升 •融入多元Meta信息 •大小微模型在线持续优化 •提供定制化蒸馏 •提供Edge端部署服务 行业大模型技术特色 强信息集成能力 基础大模型 强理解能力强生成能力 提供基础 强任务主导性高准确率 高可靠性 符合生产指标 专业数据 符合生产指标 复杂系统AI及强系统集成能力持续学习行业规范与知识高动态自适应 行业大模型 7月已发布两款九天行业大模型 九天·客服大模型 全流程贯通关怀驱动型人机协同型 九天·海算政务大模型 检索模型 面向客户服务的全场景、全流程贯通 关怀驱动型的大模型设计和训练 人机协同型的“大模型-人工坐席-用户”三方沟通场 分类模型 政务大 政务模型安全 面向客户服务全场景的行业大模型 信息场模型 服务日志业务数据知识库API 13.9B57B100B+ 基础大模型政务信息场多元交互模式 + 基础大模型 行业数据 政务政策-政务事项-政务数据存储深度贯穿模型驱动整体业务流程，灵活易用 汇聚散落的关联数据政务流程不出“场”，安全可信 政务多交互方式融合TOD+大模型+GUI，智能便捷 今年将发布的两个通信特色行业大模型 网络运维大模型行业通话大模型 业务成效业务成效 维成本 资源利用率百元资产运 客户网络满意度 人均运维资产量 客户数增值收入 客户网络满意度 客户流失率 优先服务场景 优先服务场景 对话式数据自服务 无线网络端到端闭环优化 网络运维知识助手 家客装维智能运营 异常通话检测 通话实时辅助 通话商务速记 通话内容质检 网络运维大模型 网络结构化数据大模型、网络视觉大模型网络自然语言大模型 行业通话大模型 声纹模型、方言模型 面向千行百业，中国移动启动规划多个行业大模型 医疗大模型 交通大模型 物联网大模型 家庭生态大模型 文体大模型 ... 基于大模型的行业创新应用合作 正在与政务、医疗、司法、教育等多个领域客户进行深入的探讨，共同推进大模型技术在行业应用场景的落地 高 场景丰富度 中 司法 法律咨询 医疗 疾病初筛虚拟医生智能导诊 政务 生成场景 专家/客服 内容生成 内容总结 任务拆分 政务/税务智能客服材料辅助审批 公文撰写IOC大屏驾驶舱智慧城市综合治理 法务办理智能客服急救/院前辅助智慧政务大厅 交通 车载辅助验证 教育 决策/预测场景 辅助诊断 内容审核 辅助预测 辅助指导 党务学习数字老师直播 辅助法官审判合同生成/审查材料审核 会诊报告生成 自动生成报告合同审核 低交通系统智慧管控 规划决策 水利 洪水预测防洪调度 教学答疑 初步沟通探索可研试点应用全面应用 需求阶段 3 九天大模型技术服务及运营体系 九天基础大模型 九天海算政务大模型 九天客服大模型 九天网络大模型 人工智能训推技术服务平台 供给 大规模智算中心 算力网络 推理加速 过程管理 模型微调 训练加速 异构计算 数据构建 体系化人工智能 开源通用大模型 汇聚 安全审核 数据汇聚 模型体验 大小模型端云协同 模型测评 入驻通用大模型 面向大模型时代，全新升级的九天人工智能平台 运营 知识向量化 插件管理 模型部署 智能调度 智能编排 基于体系化人工智能的算、网、智一体化服务运营 训推技术服务平台，提供PaaS化的大模型训推一体化研发能力 数据构建 大模型预训练及微调 大模型部署及推理 数据采集数据标注开发环境 数据处理数据清洗分布式训练 版本管理数据回流模型微调 算法框架状态监控RLHF 镜像管理断点续训 模型管理服务监控模型评估 推理加速服务部署 服务日志调试压测 提供训练数据的汇聚、加工和供给，支持多模态数据标注、数据清洗处理和数据回流 数据构建 提供在线集成 开发环境，实 机多卡训练， 微调、P- 现交互式模型 支持千卡并行 Tuning、 开发过程。预 训练千亿参数 LoRA、 置主流算法框 大模型，支持 RLHF等多种 架，支持自定 任务/容器状 主流微调算法， 义镜像管理及 态监控及自动 支持查看训练 本地远程开发 断点续训 日志 模型开发 提供单机及多 模型训练 预置全量参数 模型微调 纳管训练得到的大模型，支持千亿参数模型流水、张量并行推理，提升模型推理速度 模型部署 提供指标监控、日志追踪，支持通过在线调试发送请求，验证服务是否可正常推理，并支持一键压测。 模型服务 大模型MaaS服务 打造新型MaaS能力，支持大模型体验及企业级大模型推理服务，同时提供企业定制化模型微调工具及行业解决方案，支持构建私域知识增强及业务助手，实现与业务快速闭环服务能力，降低大模型在行业应用门槛。 大模型体验和推理服务大模型零代码微调知识增强和插件集成工具 •九天基础语言大模型 •九天海算政务大模型 •九天医疗大模型 •更多... •预置多种微调算法，具备更高的性能和准确性 •支持多种预训练模型，更好地适应特定任务 •全流程可视化，向导式交互，降低门槛 •具备模型在线评估和测试，提升开发效率 •自动生成企业专属业务插件 •支持体验发布和API服务，快速应用于高度定制化的业务需求 “九天”大模型评测指标体系 3大评测维度、5大类指标、70+评测类别、400+评测场景、海量评测数据 CLUEGLUE AGI CEVAL价值 评测维度 •3大评测维度：基础评测、专项评测、领域评测 •70+评测类别 •400+评测场景 观 安全 MMLU 开源数据集 生成数据集 exact_matchquasi_exact_match f1_score rouge_scorebleu_n Accuracy 准确性 鲁棒性 评测数据集 评测指标 大模型评测体系 基础评测 评测维度 专项评测 理解能力交互能力 评测数据 •海量开源数据集 •自建数据集 生成能力推理能力安全能力 社会主义核心价值观 Accuracy 安全性 公平性 Cer_bias_metrics 高效性 领域评测 医疗 司法 中国传统文化偏见公平 代码 考试 评测指标 •5大类评测指标： 准确性、鲁棒性——着重指大模型的功能、稳定性表现安全性、公平性——着重指大模型的非功能表现 高效性——着重指大模型的响应时间 Response_time 客服政务 体系化人工智能：核心技术引擎 体系化人工智能（HolisticAI）是人工智能技术探索发展的方向之一，主要研究对人工智能技术进行体系化重构所 需的理论、技术、机制、范式和框架，其主要特征为AI服务大闭环、AI能力原子化重构、网络原生AI及安全可信AI。体系化人工智能依托泛在的网络和AI算力，在开放环境中实现对AI能力进行灵活且高效的配置、调度、训练和部署，以满足日益丰富的数智化业务需求，同时确保AI业务可信可控安全。 体系化AIOS 1、AI能力原子化重构（AtomizedAI） 泛AI能力 大闭环原子化网络原生 可信 AI能力 大闭环原子化网络原生 可信 2、大闭环（BigLoopAI） 业务3、网络原生（NetworkNativeAI） 可信4、安全可信（TrustedAI） 基于“体系化人工智能”的大模型服务运营 行业智能智慧政府智慧工业智慧教育智慧网络... 算网融合服务东数西算算力交易全局优化服务保障智算服务 大闭环 原子化能力 无线覆盖异常检测 无线覆盖异常根因分析 基于仿真的天线参数分析 天线参数决策控制 算、网、智一体化服务运营 算网智脑 智能编排智能感知智能分析智能调度 小模型1小模型2 小模型3小模型4... 算、网、智一体化调度编排 HAIOS:智慧业务解析，数据协同、模型参数高效协同、模型互学习，灵活编排调度 行业智能大模型1 行业智能大模型2 ... 算网基础设施 ... 通用智能大模型1通用智能大模型2 数据视觉类语音类语言类结构化数据... 入云网络 无线接入云间网络移动云AI智算/大 安全服务 社会三方 融合边缘 基础设施物理环境网络设备硬件算力仿真环境... 模型能力算力云 19 4 九天大模型技术生态 设立“九天”大模型开放合作生态 基于“九天揽月”人工智能产业合作计划，全新设立“九天”人工智能大模型开放合作生态。目前已有38 家合作伙伴加入到“九天”人工智能大模型开放合作生态，包括9家高校和新型研发机构、17家人工智能基础软硬件骨干企业、1家三甲医疗机构、5家中央企业、4家行业和标准化组织。 大模型技术合作 大模型智算基础设施合作 大模型共建合作 大模型标准合作 关键技术联合攻关 ……… 构建先进智算基座 ……… 共建大模型，增强九天行业市场落地能力 ……… 共同制定AI标准，以开源带动产业技术发展 ……… 加快开展大模型对国产软硬件的支持和系统性优化 建设协同创新基地AI实验室，配置多款国产化算力，集成国产AI算法框架，为产业开展技术创新和推动国产软硬件发展提供试验环境 国产AI算力环境和开发环境国产AI技术练兵场 针对华为、寒武纪、海光、燧原、天数等训练和推理服 务器芯片进行适配测试与技术验证框架 推理运行时框架 降低模型、框架、芯片适配复杂度 数据+流水+张量 多维度自动并行训练策略 构建通用模型算子库 算子标准化 加速库 自动流水+算子深度融合 提升计算处理效率 在网计算、RDMA 提升通信处理效率 算力CPUAI加速卡IB/RoCE…… 框架层调优加速库软件栈调优芯片硬件调优 22 23 与国内外标准化组织、行业组织开展大模型标准化协同创新 运营层模型监控业务监控度量反馈模型更新模型维护 安全可信 评测 行业模型层电信大模型政务大模型医疗大模型其他行业大模型基础模型层语言大模型CV大模型语音大模型跨模态大模型平台层模型训练（模型模型管理管理）（模型压模型部署式部署）（模型推理） 存储、版本缩、分布模型加速 数据层数据获