张世磊：体系化人工智能技术（Holistic AI）技术探索

体系化人工智能(HolisticAI)技术探索 中国移动研究院张世磊2023.11.24 日趋泛在的智能化需求和智能化技术赋能成本高之间的矛盾 企业智能化需求持续增长 中国移动商用落地的智能化项目数量三年增长100多倍 1800 900 0 2019 2022 核心技术研发成本高 GPT-3大模型训练成本 费用成本 460万美元 时间成本 1GPU×355年 定制化、商务、运维成本高 典型AI商用定制化项目成本构成 定制化研发部署交付测试售后运维 售前解决方案数据采集 合同验收需求沟通 日趋泛在的智能化需求智能化技术赋能成本高 人工智能的应用 需求复杂、迭代优化、运营成本 弱人工智能强人工智能 （限定领域、人工参与）（通用领域、自动化） 数据成本、算法成本 算力成本、人才成本 提供技术基础 性能降成本 自动化 提高定制化任务性能 LLM 使能的自主智能体 LLM ASurveyonLargeLanguageModelbasedAutonomousAgents 自动机器学习 神经网络架构搜索 单模型的通用化基于AI任务的自动化 支撑环境适宜：选择环境，培育环境 共性能力：合理评估AI能力的可达性，构建可达的共性AI能力 平台化：实用便捷的工具，运营运维 业务本身是规模化的： 客户规模，经济规模 规模化应用 个 政企领域（B） 甘肃智能客服 -服务2500万甘肃百姓 -6000万关系政务知识图谱 -事项覆盖率100% CHBN赋能价值 个人领域（C) 10086智能客服 -服务10+亿客户 -峰值月交互量2.1亿次 -问题一次解决率94.2% 家庭领域（H） 大屏数字内容推荐 -服务家庭7600+万户 -观看率提升42% -单省收入赋能7000+万 网络领域（N） 智能基站节电 -29省全网部署 -单站减排300千克/年 -单站节电量提升8%-10% 管理领域（M） 智慧党建 -服务16万党员 -知识检索效率提升90% -构建超5万条知识点数据库 通用能力 智能语音智能推荐机器视觉智能数据分析自然语言理解 个 网络智能化能力簇 感知智能 预测智能 诊断智能 决策智能 控制智能 服务内部客户 服务外部客户 云端能力调用次数 边端能力调用次数 赋能价值 服务客户 核心能力 平台型产品 个 ⑥网络智能化平台 ③智能交互平台 ①九天深度学习平台 ⑦九天·毕昇教育平台 ④可视化建模平台 ⑧城市AI平台（合作） ⑤智能推荐平台 ②九天AI能力平台 基础大模型：加快构建适用于泛场景的自主可控通用基础大模型，打造通用智能底座 行业大模型：聚焦供给侧，加快构建行业大模型，加速国民经济主体行业的智能化转型升级，促进我国整体生产力跃升 语言大模型 视觉大模型 语音大模型 结构化数据大模型 多模态大模型 支撑 政府治理 工业生产 民生服务 通信特色 衍生 ... 客服模型 网络模型 ... 医疗司法 模型模型 ... 物联网模型 能源模型 ... 交通模型 政务模型 行业智能化应用 基于体系化人工智能的智力运营 性能评测 安全评测 数据评测 大小模型 算力基础 数据基础 网络基础 L1 行业大模型 L0 基础大模型 以九天基础模型为基础，联合通信、能源、航空等行业的骨干企业，共建共享九天·众擎基座大模型 通信 能源 航空 医疗 政务 建筑 交通运输 冶金 智算引擎 九天基础模型 测评系统 人工智能训推技术服务平台 基础设施 算力网络 大规模智算中心 数据汇聚平台 3700+ 支撑生产 1000+ AI能力 7+万亿 累计调用次数 网络问题投诉级联优化 通常需要在满足计算、传输、安全、可控性等多项约束前提下，组合使用多个模型或能力，包括基础模型、行业模型或面向特定任务的小模型，并能够端到端优化服务于业务目标 体系化人工智能（HolisticAI，HAI）是中国移动研究院九天团队原创技术的攻关方向，依托泛在的网络和AI算力，在开放环境中实现对AI能力进行灵活且高效的配置、调度、训练和部署，以满足日益丰富的数智化业务需求，同时确保AI业务可信可控安全，其主要特征为AI服务大闭环、AI能力原子化重构、网络原生AI及安全可信AI。 根据智能化业务需求，按需对AI能力进行调度、配置和运行监控，使其能在最合理的算网资源上运行和服务 泛AI算力 云/网/边/端/…GPU/ASIC/ 可信 NPU/CPU/… 泛AI算力提供方 大闭环 体系化AIOS 泛在网络资源提供方 可信 AI能力大闭环原子化网络原生 业务 可信 行业及个人客户 AI核心能力及模型提供方 1、“大闭环”（BigLoopAI） “大闭环”AI以业务端到端的大闭环优化为目标，重点攻关多能力级联与并联优化、开放动态环境中AI能力优化的基础理论和技 术，从而达到AI产业闭环。 2、AI技术原子化重构（AtomizedAI） AI能力依据高复用、易调度、自闭环、易适配等原则进行原子化拆解和重构。一个典型的原子化AI能力包含通用智能层、适配层、接口层，通用智能层可多个能力共享。AI原子化重构是体系化人工智能得以实现的基础。 3、网络原生（NetworkNativeAI） 网络原生AI将AI能力与算力通过标准化的方式接入网络、按需调度，重点攻关AI模型自动伸缩的理论和机制，制定AI计算资源、数据、模型、能力、服务的功能、流程、接口和计量的标准，实现AI能力在网云边端弹性部署、计算和迭代。 4、安全可信（TrustedAI） AI数据、模型、能力、业务的安全可信是体系化人工智能服务的重要基础，重点攻关AI服务可追溯、可互信、可审计、抗攻击的基础理论与方法。 可追溯、可计量HAIprotocol 能力区 案原子 解决方 行业区 原子能力区 分层次多粒度的原子 能力市场 n AI 模型算法蒸馏定制区 模型类1 模型类n模型类N 能力更新 taskinstancespool 开放动态环境优化 场景类1 场景类n场景类N VectorDBLong-termmemory 需求1 任务区 n 需求n需求N ........... 服务计量、评估、回收 能力空间 Hai大模型 需求 思维链任务分解 适配及优化 部署应用 动态测量评估 注册 功能区 n Standardization&TrustedAI assessment 模型服务提供商 max�(�,�,�,�,�,�,�,�,�,�) s.t.�(�,�,�,�,�,�,�,�,�)≤� 其中： �是一个复杂的函数，表示体系化人工智能的内部逻辑和流程。 数据集D=[d1,d2,…,��]，每个数据d�都有一个类型��∈[0,1,2,…,�]，表示文本、图像和语音等异构数据类型。 模型集M=[�1,�2,…,��]，每个模型��都有一个类型��∈[0,1,2,…,�]，表示分类模型、预测模型和生成模型等不同模型。原子能力集�=[�1,�2,…,��]，��是第�个能力，表示语音识别，语音增强，图像分割，机器翻译等不同的能力。 真实环境数据分布集P=[�1,�2,…,��]，每个分布��都有一个类型��∈[0,1,2,…,�]，表示高斯分布、均匀分布和其他复杂分布。 原子化评估集E=[�1,�2,…,��]，每个评估��都有一个指标��∈[0,1,2,…,�]，表示不同的评估指标。标准规范入库集S=[s1,�2,…,��]，每个入库��都有一个条件��∈[0,1,2,…,�]，表示入库准则。 真实场景数据漂移集F=[�1,�2,…,��]，每个漂移��都有一个类型��∈[0,1,2,…,�],表示协变量漂移、先验漂移和概念漂移等。 数据传输的演化更新集U=[�1,�2,…,��]，每个更新��都有一个方法��∈[0,1,2,…,�]，表示校准模型、和主动学习或迁移学习等方式。用户需求服务集�=[�1,�2,…,��]，表示用户提�动态的需求和任务；是一个动态的集合。 �为算力存储资源、网络资源，以及数据隐私等各种资源约束阈值；�表示每个流程中对应消耗和占据的资源函数。 考虑体系化人工智能的内部流程和逻辑，进一步可以将�分解为以下几个子函数： max�(�,ℎ,�,�,�,𝑃,�) �.�.�(�,ℎ,�,�,�,𝑃,�)≤� 其中： 端到端跨模态异构数据建模：�(D,M)；模型学习机理的优化建模：ℎ(�,�,�,�)；模型的原子化表征和建模：�(M,E)；模型的标准规范入库：�(M,S)； 数据漂移的优化建模：�(D,�,F)； 模型数据传输的演化更新：𝑃(M,F,U)； 运行架构优化建模：�(�,�,�)，如何在资源约束和安全可信的前提下的完成整体业务流程。 原子化 端到端优化 基于大模型的调度体系 Fig1.体系化原子模型示意图(HAIAtomicModel，HAI-AM)其中绿色部分为其中一条可能的路径 模型介绍 模型的类型（通用型，特定任务型），模型结构及参数量，应用领域，模态，构建时长及机构 功能描述 主要完成的功能描述和列表 输入输出 输入输出样例可以是一对多，一对一，多对一等组合 接口 模型的前向和后向接口及信息 适配器 适配器选择 性能准确率 性能，准确率，及测试方法 约束 应用环境的约束条件。 原则 （1）重用度高 （2）输入输出清晰，功能清晰 （3）不过于细小导致模型协同成本高于计算成本 （4）适合于独立攻关 （5）和基础模型能力互补 基础模型的功能解耦 AutomaticMaskPruning(AMP):automaticallyidentifytask-specificfilters/nodesfordifferenttasksinthepre-trainedmodel. applytheLogExpectedEmpiricalPrediction(LEEP)whichisusedtoevaluatethetransferabilityofrepresentationslearnedbythesourcetasktothetargettask. ScalableMaskSelectionPruning(SMSP):fast-adaptthepre-trainedmodeltodownstreamtasks. One-ShotPruningforFast-adaptingPre-trainedModelsonDevices,HaiyanZhaoandGuodongLong，arXiv:2307.04365v1 DecoupleoneModelintoAtomizednetworks “FactorizingKnowledgeinNeuralNetworks”,XingyiYang,JingwenYe,XinchaoWang,ECCV2022. •知识分解：包含结构分解和表征分解 •每个因子网络包含两部分：通用知识网络（CKN）和特定任务网络（TSN） •一种新的信息衡量指标-InfoMaxBottleneck(IMB)，使输入和通用特征间互信息最大（最大限度保留大模型的通用知识），使不同特定任务特征间互信息最小（使特定任务网络之间尽可能解耦）。 模型蒸馏 "Generic-to-SpecificDistillationofMaskedAutoencoders".WeiHuang,ZhiliangPeng,LiDong,FuruWei,&JianbinJiao,QixiangYe.(2023).15996-16005.10.1109/CVPR52729.2023.01535 基础模型的功能蒸馏 PredictedEmbeddingℎ1 ℎ2ℎ3ℎ4 <EOS> PredictedEmbeddingℎ1 ℎ2ℎ3 ℎ4<EOS> GenDistiller Frozen GenDistiller