人工智能大平台与九天·众擎基座大模型的建设与实践

人工智能大平台与 九天·众擎基座大模型的建设与实践 吴娜 中国移动研究院2023年11月 01 人工智能是新一轮科技革命和产业变革的战略性技术，对经济社会发展具有渗透性、扩散性和颠覆性作用，既是大国综合国力竞争的战略高地，也是我国加快建设现代化产业体系的关键所在 在央企中超前布局人工智能科创国家队 全面布局 跨越发展 2023 建设“智慧网络国家新一代人工智能开放创新平台” 牵头组建“中央企业人工智能协同创新平台” 承担国家级科创项目 起步探索 拓展突破 2022 ·成立九天人工智能研究院 ·打造国资人工智能大平台 承担科技部、发改委、国资委、工信 2013 2016 2019 ·获批建设“智慧网络国家新一代人工智能开放创新平台” 管理医疗 应用层市场工业 网络交通 部、教育部共16项人工智能重大重点项目 ·攻关智能客服和大 ·沉淀平台、拓展语音、·正式发布九天人工智能平台·牵头组建“中央企业人工智能协同创新平台” ·成立九天团队“特区” 安全客服 政务教育 数据分析 图像领域 ·“九天”成为集团人工智能品牌 组建高水平研发团队 AI人才投入 平台能力层 客服、政务等行业大模型 基础大模型 200+项：视觉、语音、NLP... 100+项：网络智能化 领先的技术水平 丰富的能力供给 央企领头羊 显著的赋能成效 中国移动集团AI人才超1500人 成立“九天”人工智能特区 IEEEFellow、中国移动集团级首席科 智能交互平台 AutoX 平台AI能力 平台深度学习 智能推荐 毕昇教育网络智能化平台 平台 城市AI平台 129 篇顶会顶刊论文 19大国际竞赛 研发大模型： 通用大模型+行业大模型 研发全领域算法： 200+ 300+家 外部客户 27大领域 平台平台 （DNS2022、CIKMAnalytiCup等） 视觉、语音、NLP等算法 智能化应用 学家冯俊兰博士领衔 基础设施层 TOP10 742 项发明专利 100+ 网络智能化算法 7.2万亿能力调用次数 39亿 年赋能价值 善智者，动于九天之上 300+ 单位 10亿+ 客户 39亿+ 年赋能价值 个人应用（C）家庭应用（H）政企应用（B）网络应用（N）管理应用（M） 大大大 9.4EFlops算力规模 算力网络前瞻布局 5.5EFlops超大单体智算中心 训推一体九天人工智能平台 打造新型MaaS能力汇聚700PB高质量数据 共建共享九天·众擎基座大模型 自主攻坚九天基础大模型 打造多类行业大模型 基于体系化人工智能的算、网、智一体化服务运营 智能编排智能调度模型部署插件管理知识向量化 开源通用大模型 入驻通用大模型 + 模型评测大小模型协同模型体验数据汇聚安全审核 九天行业大模型 九天基础大模型 + 人工智能训推技术服务平台 算力网络大规模智算中心 体系化人工智能（HolisticAI） 主要研究对人工智能技术进行体系化重构所需的理论、技术、机制、范式和框架，其主要特 征为AI服务大闭环、AI能力原子化重构、网络原生AI及安全可信AI。体系化人工智能依托泛在的网络和AI算力，在开放环境中实现对AI能力进行灵活且高效的配置、调度、训练和部署，以满足日益丰富的数智化业务需求，同时确保AI业务可信可控安全 体系化AIOS 1、AI能力原子化重构（AtomizedAI） 泛AI算力云/网/边/端/…GPU/ASIC/ NPU/CPU/… 可信 大闭环 泛在网络资源提供方 AI能力大闭环原子化网络原生 2、大闭环（BigLoopAI） 业务 可信 3、网络原生（NetworkNativeAI） 泛AI算力提供方 AI核心能力及模型提供方 行业及个人客户 可信 4、安全可信（TrustedAI） 02 中国移动自主构建语言、视觉、语音等多种类型大模型，具备供给侧增强、持续训练、异构软硬件灵活部署几大显著的技术特色，整体性能指标实现国内主流水平，能更好满足企业全场景全部署的大模型落地需求 3B/7B//57B/100B+ 在71%的中文测试集主流指标上， 超过业界同等参数规模模型 多种类型基础大模型 特色一特色二特色三 以九天基础模型为基础，联合通信、能源、航空等行业的骨干企业，共建共享“九天·众擎”基座大模型，加速国民经济主体行业的智能化转型升级，促进我国战略性新兴产业发展，带动我国整体生产力提升 训练数据规模超两万亿Tokens，融合通信、能源、钢铁、建筑、交通等8大行业专业知识，叠加专项训练和优化 通信能源航空医疗政务建筑交通运输冶金 测 系 智算评 01 自主技术攻坚 两万亿Tokens融入8大行业知识专项训练和优化 自主设计自主开发 全链路核心技术掌控 02 行业定向增强 引擎九天基础模型 人工智能训推技术服务平台 统 03 安全可信可控 开放算力基础模型训推平台 完善安全保障机制解决幻觉痛点 04 普惠开放共享 基础 设施算力网络大规模智算中心数据汇聚平台 05 专业高效服务 快速响应持续支持 赋能全场景业务需求 汇聚多样化智能算力、深度学习框架，提供PaaS大模型训推一体化研发能力和新型MaaS（模型即服务）能力 管理中心 模型体验专业助手 模型推理场景能力 提示工程训练日志 零代码微调模型评估 插件发布知识库管理 模型库插件库 组件库数据集 模型应用生态合作 解决方案教程比赛 项目管理配额管理角色管理访问控制认证鉴权计量 推理芯片 数据采集 数据标注 开发环境 算法框架 镜像管理 模型管理 推理加速 服务部署 数据处理版本管理 数据清洗 数据回流 分布式训练 模型微调 状态监控RLHF 断点续训 服务监控模型评估 服务日志 调试压测 容器/微服务/资源调度/性能监控/平台运维 训练芯片 GPUCPU国产AI 高性能存储 GPUCPU国产AI 高性能高速 存储网络 共建共享大模型预训练、微调、推理一体化研发工具链， 支持大模型体验及企业级大模型推理服务，同时提供企业定制化模型微调工具及行业解决方案，支持构建私域知识增强及业务助手，实现与业务快速闭环服务能力，降低大模型在行业应用门槛 大模型体验私域知识增强及业务助手技术特色 面向企业智能化转型痛点 提供简洁极致的用户体验 打造开放的插件集成生态 实现与业务的快速闭环落地 申请体验地址：http://jiutian.hq.cmcc/largemodel/llmstudio/ 强信息集成能力 符合生产指标 基础大模型 提供基础 强任务主导性高准确率 高可靠性 复杂系统AI及强系统集成能力持续学习行业规范与知识 高动态自适应 强理解能力强生成能力 专业数据 行业大模型 10月中国移动合作伙伴大会发布九天网络大模型，升级客服、海算政务大模型 网络大模型客服大模型 海算政务大模型 医疗大模型司法大模型能源大模型 强稳健性，在业务稳健性和大模型多样性之间取得平衡 高可控性，实现大模型和信息场的联动 复杂AI系统强系统集成能力 运输大模型 航空大模型 ...… 九天·网络大模型于中国移动自智网络分论坛发布，优先服务四大场景，驱动向“AI+网络”全面演进 95% 40% 100% 60% 九天·客服大模型焕新升级版本于中国移动数智服务创新分论坛发布，率先应用在10086这一全球最大的客服系统，驱动客服领域行业应用破冰 面向客户服务全场景的行业大模型 13.9B 57B 100B+ 服务日志 业务数据 知识库API 基础大模型行业数据 中国移动于2023年先后在上海世界人工智能能大会，中国移动全球合作伙伴大会期间发布九天·海算政务大模型和九天·海算政务大模型V2.0版本 九天·海算政务大模型发布 2023.7.8·上海 九天·海算政务大模型V2.0发布 2023.10.12·广州 九天·海算政务大模型焕新升级版本为一网通办、一网协同、一网统管注智赋能，助力开创数字政府建设新局面 任务优化 更全面 知识增强 更明确 能力提升 更友好 03 基于“九天揽月”人工智能产业合作计划，全新设立“九天”人工智能大模型开放合作生态。 目前已有36家合作伙伴加入“九天”人工智能大模型开放合作生态，包括9家高校和新型研发机构、17家人工智能基础软硬件骨干企业、1家三甲医疗机构、5家中央企业、4家行业和标准化组织 ……… 关键技术联合攻关构建先进智算基座 ……… ……… 共建大模型，增强九天行业市场落地能力 共同制定AI标准，以开源带动产业技术发展 ……… 智算中心国产算力占比国产算力基准评测项适配国产算力种类适配国产边端设备厂商