2024年面向AI大模型的网络使能技术白皮书-6GANA

面向AI大模型的网络使能技术 NetworkEnablingTechnologiesforArtificialIntelligenceLargeModels 目录 摘要3 一、AI大模型发展概述4 （一）发展历程4 （二）发展趋势5 二、网络使能大模型的需求和驱动力6 （一）未来6G网络的通算智融合趋势6 （二）网络使能大模型价值场景7 三、网络使能大模型服务12 （一）数据感知服务13 （二）分布式训练服务14 （三）指令优化服务29 （四）端边云协同推理服务30 （五）模型优化服务36 四、案例分析37 生成式AI在语义通信系统中的应用37 五、未来展望44 六、参考文献45 七、主要贡献单位和编写人员50 摘要 随着大模型和智能体（Artificialintelligenceagent,AIagent）技术的发展，未来越来越多的工作将被基于大模型的智能体所取代。一方面，由于大模型对数据和算力的需求巨大，资源受限的终端将难以满足模型训练和推理的需求。 另一方面，未来第六代移动通信（Sixgeneration,6G）网络存在大量低时延 需求的价值场景，例如无人驾驶、虚拟和增强现实等，云端大模型难以满足这些场景用户的需求。因此，向无线网络寻求算力和数据的支撑将成为大模型时代的 必然。本文介绍了大模型时代下网络使能人工智能（Artificialintelligence,AI） 技术的需求和驱动力，详细阐述了未来6G网络能为大模型提供的AI服务，包括数据感知、分布式训练、指令优化、端边云协同推理和模型优化等，通过案例 分析说明了相关技术的实践应用，并总结了未来可能的研究方向和所需要面对的挑战。 一、AI大模型发展概述 （一）发展历程 随着深度学习技术的应用范围不断拓展和人工智能的快速发展，在大数据、高算力和强算法等关键技术的共同推动下，以ChatGPT为代表的AI大模型大 量涌现，提供了高度智能化的人机交互体验和极富创造力的内容生成能力，改变了人们的工作和生活方式，实现了AI技术从“量变”到“质变”的跨越。 AI大模型是指拥有超大规模参数、超强计算资源的机器学习模型，能够处理海量数据，并完成各种复杂任务。AI大模型的发展可以追溯到20世纪50年代。此后，从卷积神经网络（CNN）到循环神经网络（RNN），再到Transformer架构，模型的性能不断提升。总的来说，AI大模型的发展历程主要可以分为四个阶段，如图1所示。 图1.AI大模型的发展历程 ►传统模型（1950-1980）：在AI发展的早期，传统模型主要依赖于简单 的线性回归、逻辑回归等方法。这些模型能够处理分类和回归等基本任务，但在处理复杂数据和任务时表现有限。 ►神经网络模型（1980-2017）：1980年，卷积神经网络的雏形CNN诞生。2000年代初期，有学者开始研究神经网络模型，开始模仿人脑进行大量数据的标记和训练，并尝试解决简单的问题，如手写数字识别等。 ►Transformer模型（2017-2018）：2017年，Google颠覆性地提出了基于自注意力机制的Transformer架构，奠定了大模型预训练算法架构的基础。2018年，OpenAI和Google分别发布了GPT-1与BERT大模型，使得NLP领域的大模型性能得到了质的飞跃。 ►现代AI大模型（2018至今）：2022年，聊天机器人ChatGPT横空出世，迅速引爆互联网。此后发布的多模态预训练大模型GPT-4，再次引发了生成式AI的热潮。目前各类大模型正持续涌现，性能也在不断提升。 （二）发展趋势 1.多模态能力提升，应用场景范围扩大 单模态模型通常只能处理一种类型的数据，例如文本、图像或声音，缺乏对复杂环境的全面理解。而具有多模态能力的AI模型能够同时处理多种类型的数据，例如将视觉和语言信息相结合，以实现更深层次的理解和交互，并在更广泛的场景中得到应用。 2.模型轻量化部署，资源需求成本降低 在AI技术快速发展的当下，智能手机等移动设备在人机交互、语音交流等功能方面的需求不断提升，将大模型轻量化部署到终端设备也正成为一个重要的 研究方向和发展趋势。利用端侧AI可以更好地为用户提供个性化的服务和支持，帮助用户进行自我管理，实现更加智能和高效的设备互联。 3.外部工具相结合，交互方式更加智能 传统的小模型通常专注于特定的任务，缺乏与外部环境交互的能力。结合外部工具调用、记忆和规划功能的AI大模型，可以被视为智能代理（Agent），它们能够执行更加复杂的任务，如自主决策、规划和学习。这种模型的交互方式更加智能，能够根据用户的需求和偏好进行自我调整，提供更加个性化的服务。 这些发展趋势不仅预示着AI技术的不断进步，也反映了用户对于更加智能、个性化服务的需求。随着研究的深入和技术的成熟，我们可以期待AI大模型在未来将在更多领域发挥关键作用，改善人们的生活和工作效率。 二、网络使能大模型的需求和驱动力 （一）未来6G网络的通算智融合趋势 人工智能已成为新一轮产业升级的核心驱动力，各行业的自动化、数字化、 智能化需要泛在智能，许多高价值的AI场景，例如AI手机、自动驾驶、智能制造、移动机器人等，具有移动性、实时性、边端协同、隐私性等要求，需要网络 这一AI服务基础设施进行支持。而随着大模型技术在上述场景中的深入应用，终端对于网络侧算力和数据资源支撑的需求将进一步扩大。 ITU将6G场景扩展到包括通信与AI融合在内的智慧泛在，需要将AI打造成6G通信网络的新能力和新服务，实现AI即服务(AIasaservice，AIaaS)。这要求6G网络能够随时随地提供AI服务、支持低时延的推理和训练服务、支持移动式AI、保障AI服务质量、提供安全隐私保护。 （二）网络使能大模型价值场景 1.AI手机 在当今科技快速发展的时代，手机大模型已成为各大厂商竞相研发的热点。各大手机厂商纷纷推出了自家的大模型，为用户带来更加智能化的体验。如表1所示，手机大模型的功能主要包括文字类和图像类。在文字类功能方面，用户可以享受到智能问答、文本创作、文本总结、通话摘要等便捷服务，这些功能的响应时延通常在1秒之内，让用户感受到即时的互动体验。而图像类功能包括文 生图、图像消除、图片问答等，其中，文生图响应时间较长，一般在5秒以上。在模型部署方面，目前主要有端侧部署和云端部署两种方式。端侧部署的大模型 参数量通常不超过10B，这种部署方式可以更好地保护用户隐私，同时降低对网络环境的依赖。而云端部署的大模型参数量可达100B以上，这种部署方式可 以充分利用云端强大的计算资源，提供更加复杂和强大的功能，但需要较为稳定的网络环境支持。 表1.各厂商大模型手机调研信息 品牌 大模型功能 大模型性能 参数量 部署位置 vivo[1] -智能问答-文本创作-文本总结-逻辑推理 -智能问答首词响应1s -文本总结首词响应ms级 1B/7B 端侧 70B/130B/175B 云端 OPPO[2] -智能问答-通话摘要-文本总结-图像消除 -文生图 -智能问答首字响应0.2s -512*512生图时长6s 7B 端侧 70B/180B 云端 荣耀[3] -智慧成片-一语查图 暂无公布数据 7B 端侧 小米[4] -智能问答 -文生图 -图片问答 -图像消除/扩图 暂无公布数据 暂无公布数据 暂无公布数据 苹果[5] -智能问答-文本摘要-重要消息置顶-文生图-图像消除-跨应用操作 暂无公布数据 暂无公布数据 端侧云端 基于上述分析，手机大模型主要分为终端推理和云端推理两类。因此，6G网络使能手机大模型也可以相应地分为使能终端推理和使能云端推理两类。 图2.6G网络赋能大模型终端推理场景 如图2所示，6G网络使能终端推理可以包括算力使能、数据使能以及算力和数据使能3种场景。考虑到目前手机大模型中文生图的时延较长的痛点，价值场景1是6G网络通过算力卸载的方式，将终端算力全部或部分卸载到6G网络内，通过对通信资源和算力资源的协同调度，可以降低响应时延，并降低终端 推理功耗。而价值场景2则是6G网络通过例如感知获得价值数据，并将该价值数据作为终端推理的辅助信息，以提升推理精度。至于价值场景3，则是网络同时提供算力和数据服务，从而可以降低终端推理的响应时延和功耗，并提升推理 准确度。 图3.6G网络赋能大模型云端推理场景 如图3所示，6G网络使能云端推理也可以包括算力使能、数据使能以及算力和数据使能3种场景。在价值场景1中，6G网络通过算力卸载的方式，将云端算力全部或部分卸载到6G网络内，通过对通信资源和算力资源的协同调度，并通过更短的传输路径，可以显著降低响应时延，提升用户体验。而价值场景2则是6G网络通过例如感知获得价值数据，并将该价值数据作为云端推理的辅助信息，以提升推理精度。至于价值场景3，则是网络同时提供算力和数据服务，可以同时降低云端推理时延，并提升云端推理精度，为用户带来更加高效和智能 的服务体验。 2.自动驾驶 自动驾驶车辆通过传感器（如摄像头、雷达、LIDAR）采集到大量感知周围环境数据，需实时处理和分析、进行路径规划和驾驶决策。将连接的车云系统扩 展到分布式网络节点/基站环境中，使数据和应用程序可以更靠近车辆，提供快速的道路侧相关功能。终端设备采集传感器数据，进行初步处理和特征提取。在 车辆附近的分布式边缘节点进行实时数据处理，如环境感知和初步路径规划，利用6G网络的低延迟特性，快速传播危险警告和延迟敏感信息，确保实时响应。 在中央网络节点/云端进行大规模模型训练和全局优化，利用大数据提升模型的准确性和鲁棒性。根据车辆位置和网络状况，可动态调整分布式网络各节点计算 资源，确保高效运行。 3.智能医疗 可实时监测患者的健康的医疗设备和穿戴设备收集大量患者体征数据，通过医疗大模型训练和推理，进行疾病预测和诊断。穿戴设备和医疗传感器采集生理数据，进行初步处理和传输。通过分布在医疗机构的边缘节点进行实时数据分析和初步诊断，减轻中央网络节点负担。中央网络节点进行复杂的医疗数据分析和模型训练，支持远程诊断和治疗方案的优化，通过高可靠性和低延迟的通信网络赋能医疗数据的实时传输和处理。除了实时传输能力和边缘节点部署能力，6G网络还提供了高可靠和加密的数据隐私保护机制，保障患者的数据隐私和安全。 4.工业4.0 工业4.0要求智能工厂通过物联网设备进行设备监控、生产管理和质量控制，需要高精度、低延迟的数据传输和处理。工业传感器和设备采集生产数据，进行 初步处理和传输。工厂内部的分布式网络节点部署计算，提供本地化的生产监控和实时优化能力，进行设备监控和故障预测。在中央网络节点进行大规模数据分 析和模型训练，提升生产效率和产品质量。大带宽和低延迟的6G网络确保了生 产数据在传感器、边缘网络节点及中央网络节点之间的实时传输和处理，高可靠性网络连接保障了生产过程的连续性和稳定性。 5.工业元宇宙 工业元宇宙打造与现实工业映射和交互的全数字化虚拟世界，构建工业全生命周期的虚实共生、相互操作及高效闭环的工业体系新范式，推动传统行业数字 化智能化转型，是新质生产力的数字底座。在工业元宇宙中，虚拟世界与物理世界的深度融合是实现其全部潜力的关键。虚拟世界不仅要能够感知和接收来自物理世界的数据，还需要能够理解这些数据背后的意图，并据此做出合理的决策和控制。这一过程中，大模型显著提升了工业元宇宙的智能化和自主化水平。 虚拟世界对物理世界的理解是工业元宇宙虚实交互的核心任务之一。工业元宇宙需要处理海量的数据，包括物联网设备传感器的数据、生产线监控信息、供应链的实时动态等。通过传统的规则模板解析、机器学习算法和深度学习算法，虚拟系统可以分析物理设备的数据并做出响应。然而，这些方法通常需要大量的规则和参数配置，灵活性较差。大模型的引入，尤其是基于大模型的生成式人工智能，使得意图识别和理解更加灵活和高效。大模型通过自然语言处理和深度学习技术，能够高效地解析、分析和处理这些数据。通过对