2024年面向AI大模型的网络使能技术白皮书-6GANA

NetworkEnablingTechnologiesforArtificialIntelligenceLargeModels 目录 摘要...............................................................................................................................3 一、AI大模型发展概述............................................................................................4 （一）发展历程..................................................................................................................4（二）发展趋势..................................................................................................................5 二、网络使能大模型的需求和驱动力.....................................................................6 （一）未来6G网络的通算智融合趋势...........................................................................6（二）网络使能大模型价值场景......................................................................................7 三、网络使能大模型服务.......................................................................................12 （一）数据感知服务........................................................................................................13（二）分布式训练服务....................................................................................................14（三）指令优化服务........................................................................................................29（四）端边云协同推理服务............................................................................................30（五）模型优化服务........................................................................................................36 四、案例分析...........................................................................................................37 生成式AI在语义通信系统中的应用....................................................................37 摘要 随着大模型和智能体（Artificialintelligenceagent,AIagent）技术的发展，未来越来越多的工作将被基于大模型的智能体所取代。一方面，由于大模型对数据和算力的需求巨大，资源受限的终端将难以满足模型训练和推理的需求。另一方面，未来第六代移动通信（Sixgeneration,6G）网络存在大量低时延需求的价值场景，例如无人驾驶、虚拟和增强现实等，云端大模型难以满足这些场景用户的需求。因此，向无线网络寻求算力和数据的支撑将成为大模型时代的必然。本文介绍了大模型时代下网络使能人工智能（Artificialintelligence,AI）技术的需求和驱动力，详细阐述了未来6G网络能为大模型提供的AI服务，包括数据感知、分布式训练、指令优化、端边云协同推理和模型优化等，通过案例分析说明了相关技术的实践应用，并总结了未来可能的研究方向和所需要面对的挑战。 一、AI大模型发展概述 （一）发展历程 随着深度学习技术的应用范围不断拓展和人工智能的快速发展，在大数据、高算力和强算法等关键技术的共同推动下，以ChatGPT为代表的AI大模型大量涌现，提供了高度智能化的人机交互体验和极富创造力的内容生成能力，改变了人们的工作和生活方式，实现了AI技术从“量变”到“质变”的跨越。 AI大模型是指拥有超大规模参数、超强计算资源的机器学习模型，能够处理海量数据，并完成各种复杂任务。AI大模型的发展可以追溯到20世纪50年代。此后，从卷积神经网络（CNN）到循环神经网络（RNN），再到Transformer架构，模型的性能不断提升。总的来说，AI大模型的发展历程主要可以分为四个阶段，如图1所示。 ►传统模型（1950-1980）：在AI发展的早期，传统模型主要依赖于简单的线性回归、逻辑回归等方法。这些模型能够处理分类和回归等基本任务，但在处理复杂数据和任务时表现有限。 ►神经网络模型（1980-2017）：1980年，卷积神经网络的雏形CNN诞生。2000年代初期，有学者开始研究神经网络模型，开始模仿人脑进行大量数据的标记和训练，并尝试解决简单的问题，如手写数字识别等。 ►Transformer模型（2017-2018）：2017年，Google颠覆性地提出了基于自注意力机制的Transformer架构，奠定了大模型预训练算法架构的基础。2018年，OpenAI和Google分别发布了GPT-1与BERT大模型，使得NLP领域的大模型性能得到了质的飞跃。 ►现代AI大模型（2018至今）：2022年，聊天机器人ChatGPT横空出世，迅速引爆互联网。此后发布的多模态预训练大模型GPT-4，再次引发了生成式AI的热潮。目前各类大模型正持续涌现，性能也在不断提升。 （二）发展趋势 1.多模态能力提升，应用场景范围扩大 单模态模型通常只能处理一种类型的数据，例如文本、图像或声音，缺乏对复杂环境的全面理解。而具有多模态能力的AI模型能够同时处理多种类型的数据，例如将视觉和语言信息相结合，以实现更深层次的理解和交互，并在更广泛的场景中得到应用。 2.模型轻量化部署，资源需求成本降低 在AI技术快速发展的当下，智能手机等移动设备在人机交互、语音交流等功能方面的需求不断提升，将大模型轻量化部署到终端设备也正成为一个重要的研究方向和发展趋势。利用端侧AI可以更好地为用户提供个性化的服务和支持，帮助用户进行自我管理，实现更加智能和高效的设备互联。 3.外部工具相结合，交互方式更加智能 传统的小模型通常专注于特定的任务，缺乏与外部环境交互的能力。结合外部工具调用、记忆和规划功能的AI大模型，可以被视为智能代理（Agent），它们能够执行更加复杂的任务，如自主决策、规划和学习。这种模型的交互方式更加智能，能够根据用户的需求和偏好进行自我调整，提供更加个性化的服务。 这些发展趋势不仅预示着AI技术的不断进步，也反映了用户对于更加智能、个性化服务的需求。随着研究的深入和技术的成熟，我们可以期待AI大模型在未来将在更多领域发挥关键作用，改善人们的生活和工作效率。 二、网络使能大模型的需求和驱动力 （一）未来6G网络的通算智融合趋势 人工智能已成为新一轮产业升级的核心驱动力，各行业的自动化、数字化、智能化需要泛在智能，许多高价值的AI场景，例如AI手机、自动驾驶、智能制造、移动机器人等，具有移动性、实时性、边端协同、隐私性等要求，需要网络这一AI服务基础设施进行支持。而随着大模型技术在上述场景中的深入应用，终端对于网络侧算力和数据资源支撑的需求将进一步扩大。 ITU将6G场景扩展到包括通信与AI融合在内的智慧泛在，需要将AI打造成6G通信网络的新能力和新服务，实现AI即服务(AIasaservice，AIaaS)。这要求6G网络能够随时随地提供AI服务、支持低时延的推理和训练服务、支持移动式AI、保障AI服务质量、提供安全隐私保护。 （二）网络使能大模型价值场景 1.AI手机 在当今科技快速发展的时代，手机大模型已成为各大厂商竞相研发的热点。各大手机厂商纷纷推出了自家的大模型，为用户带来更加智能化的体验。如表1所示，手机大模型的功能主要包括文字类和图像类。在文字类功能方面，用户可以享受到智能问答、文本创作、文本总结、通话摘要等便捷服务，这些功能的响应时延通常在1秒之内，让用户感受到即时的互动体验。而图像类功能包括文生图、图像消除、图片问答等，其中，文生图响应时间较长，一般在5秒以上。在模型部署方面，目前主要有端侧部署和云端部署两种方式。端侧部署的大模型参数量通常不超过10B，这种部署方式可以更好地保护用户隐私，同时降低对网络环境的依赖。而云端部署的大模型参数量可达100B以上，这种部署方式可以充分利用云端强大的计算资源，提供更加复杂和强大的功能，但需要较为稳定的网络环境支持。 基于上述分析，手机大模型主要分为终端推理和云端推理两类。因此，6G网络使能手机大模型也可以相应地分为使能终端推理和使能云端推理两类。 如图2所示，6G网络使能终端推理可以包括算力使能、数据使能以及算力和数据使能3种场景。考虑到目前手机大模型中文生图的时延较长的痛点，价值场景1是6G网络通过算力卸载的方式，将终端算力全部或部分卸载到6G网络内，通过对通信资源和算力资源的协同调度，可以降低响应时延，并降低终端推理功耗。而价值场景2则是6G网络通过例如感知获得价值数据，并将该价值数据作为终端推理的辅助信息，以提升推理精度。至于价值场景3，则是网络同时提供算力和数据服务，从而可以降低终端推理的响应时延和功耗，并提升推理 准确度。 如图3所示，6G网络使能云端推理也可以包括算力使能、数据使能以及算力和数据使能3种场景。在价值场景1中，6G网络通过算力卸载的方式，将云端算力全部或部分卸载到6G网络内，通过对通信资源和算力资源的协同调度，并通过更短的传输路径，可以显著降低响应时延，提升用户体验。而价值场景2则是6G网络通过例如感知获得价值数据，并将该价值数据作为云端推理的辅助信息，以提升推理精度。至于价值场景3，则是网络同时提供算力和数据服务，可以同时降低云端推理时延，并提升云端推理精度，为用户带来更加高效和智能的服务体验。 2.自动驾驶 自动驾驶车辆通过传感器（如摄像头、雷达、LIDAR）采集到大量感知周围环境数据，需实时处理和分析、进行路径规划和驾驶决策。将连接的车云系统扩展到分布式网络节点/基站环境中，使数据和应用程序可以更靠近车辆，提供快速的道路侧相关功能。终端设备采集传感器数据，进行初步处理和特征提取。在车辆附近的分布式边缘节点进行实时数据处理，如环境感知和初步路径规划，利用6G网络的低延迟特性，快速传播危险警告和延迟敏感信息，确保实时响应。 在中央网络节点/云端进行大规模模型训练和全局优化，利用大数据提升模型的准确性和鲁棒性。根据车辆位置和网络状况，可动态调