体系化人工智能与大模型

体系化人工智能与大模型 中国移动冯俊兰 2023-07-18 1 强理解能力： 理解长文，短文，问题，指令，代码，提示，图片，视频，声音，表格 大模型的优势 强生成能力： 写诗，作文，画画，代码，多样性（仿现实，非现实） 强信息集成能力： 知识融合、数据融合，系统融合 2 大模型走向为人“做事”面临的挑战 泛理解能力： 理解长文，短文，问题，指令，代码，提示，图片，视频，声音，表格 WeakinRobustness,Coherence,RepresentationofUnderstanding(InternalWorldModel) 强生成能力： 写诗，作文，画画，代码，多样性（仿现实，非现实） Hallucination,MeasureofGoodness,Control-ability 强信息集成能力：知识融合、数据融合，系统融合 Collaborativelearning,ContinuousLearning,ComplexSystemAI 复杂系统的智能化体 系 业务端到端智能优化 能力 大小模型协同机制 人机协同模式 3 大模型发展路径：研判 研判1 大模型相关的理论和核心技术不断突破，大幅提升总体智能水平，可控性，安全性和可信性亟需攻关。 研判2 大模型商用的相关标准，支撑体系，运营运维体系在各个行业逐步完善到位。 体系化人工智能 针对项目提出的挑战，我们提出体系化人工智能（HolisticAI，HAI）的攻关思路，依托泛在的网络和AI算力，在开放环境中实现对AI能力进行灵活且高效的配置、调度、训练和部署，以满足日益丰富的数智化业务需求，同时确保AI业务可信可控安全，其主要特征为AI服务大闭环、AI能力原子化重构、网络原生AI及安全可信AI。 根据智能化业务需求，按需对AI能力进行调度、配置和运行监控，使其能在最合理的算网资源上运行和服务 体系化AI 泛在网络资源提供方 OS 泛AI算力 云/网/边/端/… GPU/ASIC/ NPU/CPU/… 泛AI算力提供方 大闭环 AI能力大闭环原子化网络原生 业务 行业及个人客户 AI核心能力及模型提供方 体系化人工智能（HolisticAI）与大模型 大闭环 无线覆盖异常检测 基于仿真的天线参数分析 无线覆盖异常根因分析 基于图像的工参异常发现 天线参数决策控制 原子化能力 小模型1 小模型2 小模型3 小模型4 ... 数据协同模型参数协同模型互学习 原子化(AtomizedAI)：AI技术依据高复用、易调度、自闭环、易适配等原则进行原子化拆解和重构。一个典型的原子化AI能力包含通用智能层、适配层、接口层，通用智能层可多个能力共享。AI原子化重构是体系化人工智能得以实现的基础。 大闭环（BigLoopAI)：“AI以业务端到端的大闭环优化为目标，重点攻关多能力级联与并联优化、开放动态环境中AI能力优化的基础理论和技术，从而达到AI产业闭环。 数据 视觉类 语音类 语言类 结构化数据 ... 基础设施 物理环境 网络设备 硬件算力 仿真环境 ... ... 基础大模型2 基础大模型1 安全可信（Trust的AI） 网络原生（NetworkNative） BigLoopAI 组合多个模型的智能，包括基础模型，行业模型或小模型，并能够端到端服务于业务目标 网络问题投诉级联优化 语音识别+口语自然语言理解级联优化【12】 ASR Interfaces Top-K: TokenEmbeddingssoftmaxvalues Matrixmultiply: softmaxoutput*matrix Gumbelsoftmax: smoothdistribution NLU BigLoopAIwithSmallModels FuseMultipleModelsintoonetargetmodel "CascadedMulti-taskAdaptiveLearningBasedonNeuralArchitectureSearch",Y.Gao,Shilei Zhang,ZihaoCui,ChaoDeng,JunlanFeng*.Interspeech20238 BigLoopAIwithSmallModels Cancadethreemodels-speechenhancement,ASR，NLU-withBottleneckAdapter "CascadedMulti-taskAdaptiveLearningBasedonNeuralArchitectureSearch",Y.Gao,ShileiZhang,ZihaoCui,ChaoDeng,JunlanFeng*.Interspeech2023 BigLoopAIwithBigPretraiedModels FuseMultipleModelsintoonetargetmodel •多个神经元网络层形成一个功能块 •功能相似网络：输入相似时，输出相似 •将一个网络分成多个功能块，相似的功能块形成一个集合，这个集合称为：等同网络块集合 "DeepModelReassembly",XingyiYang,etc.NeurIPS2022 BigLoopAIwithBigPretraiedModels StitchMultipleBigModelsintoonetargetmodel “StichableNeuralNetworks”,ZizhengPanJianfei CaiBohanZhuang,Archive-2023 谢谢！ 12