空天地一体化算力网络资源调度机制-王克文

空天地一体化算力网络资源调度机制 王克文1,2，张维庭*3，孙童3 (1.北京交通大学，电气工程学院，北京100044；2.国能新朔铁路有限责任公司，内蒙古鄂尔多斯010300； 3.北京交通大学，电子信息工程学院，北京100044) 摘要：针对快速响应和大范围覆盖的应用场景需求，如卫星数据处理和车辆远程控制，本文聚焦于采用分层控制和人工智能技术的方法，设计一种空天地一体化算力网络资源调度机制。将空天地网络划分为三个域，分别部署域控制器，负责本地域的资源管理；同时，通过卫星和无人机的覆盖范围进行地面区域划分，确保地面区域能够得到有效的服务保障，以实现高效地数据传输和任务处理。为了优化空天地算力网络资源利用率，引入多智能体强化学习算法，对不同场景下产生的计算任务进行实时处理；将每个域控制器视为具备任务调度和资源分配能力的智能体，在满足时延和能耗约束下，通过协同学习和分布式决策实现计算任务智能调度和高效分配。实验结果表明，该机制能够有效提高资源利用率和任务响应时间。 关键词：空天地一体化；算力网络；任务调度；资源分配；多智能体强化学习 doi:10.19678/j.issn.1000-3428.0069471 ResourceSchedulingMechanismforSpace-Air-GroundIntegratedComputingPowerNetworks WangKe-Wen1,2,ZhangWei-Ting*3,SunTong3 (1.SchoolofElectronicsandElectricalEngineering,BeijingJiaotongUniversity,Beijing100044,China; 2.GuonengXinshuoRailwayCo.,LTD.,Ordos010300,China; 3.SchoolofElectronicandInformationEngineering,BeijingJiaotongUniversity,Beijing100044,China) 【Abstract】Inresponsetothedemandforfastresponseandlarge-scalecoverageofapplicationscenarios,suchassatellitedataprocessingandvehicleremotecontrol,thispaperfocusesonutilizinghierarchicalcontrolandartificialintelligencetechnologytodesignaresourceschedulingmechanismforspace-air-groundintegratedcomputingpowernetworks.Dividetheair,space,andgroundnetworksintothreedomains,anddeploydomaincontrollersrespectivelytoberesponsibleforresourcemanagementinthecorrespondinglocaldomain.Meanwhile,theareasaredividedthroughthecoverageofsatellitesanddronestoensurethattheareascanachieveeffectiveserviceguarantees,andefficientdatatransmissionandtaskprocessing.Aimingtooptimizetheresourceutilizationofair-space-groundintegratedcomputingpowernetworks,amulti-agentreinforcementlearning-basedschedulingalgorithmisproposed,inwhicheachdomaincontrollerisconsideredasanagentwithtaskschedulingandresourceallocationcapabilities.Intelligentresourceschedulingandefficientresourceallocationforcomputingtasksarerealizedthroughcollaborativelearninganddistributeddecision-makingwiththesatisfiedconstraintsofdelayandenergyconsumption.Assuch,thecomputingtasksgeneratedindifferentscenariosareprocessedinrealtime.Simulationresultsshowthattheproposedmechanismcaneffectivelyimproveresourceutilizationandtaskresponsetime. 【Keywords】space-air-groundintegration;computingpowernetwork;taskscheduling;resource allocation;multi-agentreinforcementlearning 0概述 随着全球互联网的快速发展，涌现出大 ———————————— 量的新兴应用服务，如工业自动化、智能交通系统等，这些服务产生了海量数据需要传输和处理[1-2]。6G通信技术为这些应用提供了高可靠低延迟的连接服务。然而，在偏远 基金项目：国家自然科学基金资助项目（62201029）；中国博士后科学基金资助项目（2022M710007， BX20220029） 通讯作者Email:wtzhang@bjtu.edu.cn 山区，地面的蜂窝网络无法实现全覆盖，尤其遇到极端天气时，地面的基础通信设施 （如基站）容易受到破坏，无法提供稳定的通信服务[3]。为此，研究学者提出了空天地一体化网络（Space-Air-GroundIntegratedNetwork，SAGIN）[4]。它将天基网络、空基网络与地面网络相结合，主要包括地面算力中心、服务器、无人机和卫星等计算节点，为全球的智能应用提供泛在的计算服务[5]。 在SAGIN架构中，天基网络和空基网络节点的计算资源和链路带宽资源有限，而地基网络中部署了很多服务器和智能算力中心，算力资源相对丰富。在能源方面，不同轨道上卫星的能量存储不同，并且空基网络中的无人机等设备也都面临着能源约束。同时，卫星、无人机以及移动用户等节点的不断运动使得SAGIN成为一个高度时变的网络，其通信链路、网络拓扑和负载在不断变化[6]。SAGIN中相关服务的调用通常涉及多维空间的协同。例如，紧急灾害遥感需要遥感卫星和无人机的配合[7]。此外，对计算密集型应用而言，如高清视频的传输处理，需要大量算力资源进行图像渲染和视频解码；对时延敏感型应用而言，如车辆自动驾驶，车内部传感器的数据需要实时处理[8]。上述问题使得在SAGIN场景下对计算任务的调度和资源分配问题变得复杂，因此，提出新的计算架构解决此问题显得尤为重要。传统的优化算法，如启发式算法，普遍 依赖于基于经验和直觉预设的规则与策略，难以适应高度动态多变的SAGIN环境。并且，该算法容易陷入局部最优，不利于实现对SAGIN的全局优化[9]。此外，对于传统的基于博弈论的优化算法，SAGIN的众多异构节点间的博弈关系错综复杂，导致建模难度大幅提升。 与上述传统优化算法相比，深度强化学习技术利用深度神经网络作为策略函数的近似器，能够有效处理高维、连续的状态和动作空间[10]。智能体通过与动态多变的SAGIN环境持续交互，根据环境反馈的奖励信号，自适应地调整和优化决策，无需依赖预先设计的复杂规则和精确模型[11]。这种自主学习范式为智能化的任务调度和资源 分配提供了新的解决思路。本文的贡献可概括如下。 （1）介绍了SAGIN的一般应用场景，在其三层网络中分别部署天基、空基和地基控制器，利用深度强化学习对各个域控制器进行赋能，实现动态分层控制。 （2）建立智能应用设备与SAGIN的无线通信模型，提出计算任务调度和资源分配的时延和能耗模型，将该场景下计算任务调度、计算和存储等资源分配问题建模为马尔可夫过程,提出了基于多智能体近端策略优化 （Multi-AgentProximalPolicyOptimization，MAPPO）的任务调度和资源分配算法。 （3）对该算法进行仿真实验，验证了该算法可提高复杂应用场景下计算任务的响应时间和减小各设备的能耗开销。 1系统模型 重点介绍了SAGIN的应用场景，构建了处理用户任务的计算模型和通信模型，将最小化时延和能耗的综合开销作为优化目标，求解优化问题。 1.1网络场景 本文设计的SAGIN的一般场景如图1所示，其中，重点关注SAGIN多维的资源管理和分配。该SAGIN架构旨在通过全球的无缝覆盖以及空、天、地三域的协同计算，以支持具有不同需求的各种应用场景的计算服务。SAGIN控制架构包括空基网络、天基网络和地基网络。 在地基网络中，本文重点研究三种可以处理计算任务的设备，包括物联网设备，有线网络设备和专用计算设备。由于覆盖范围有限，5G/6G蜂窝网络可能无法覆盖偏远地区，因此，这些地区广泛部署了物联网来处理小型计算任务，例如视频监控、图像和声音等传感数据的融合。在SAGIN架构的支持下，物联网设备可以实现全球可扩展连接，与其他各域协同执行计算任务，将一些计算密集型任务通过无人机、卫星或者经过中继转发到云服务器和地面网络的算力中心进行计算，提高网络的计算能力。 在地面的有线网络中，路由器、交换机、网关等网络设备构成了核心网络，主要负责 逐跳的计算任务转发。计算设备通常位于网络边缘，主要集中在一些大型算力中心，算力中心的服务器由中央处理单元（CentralProcessingUnit，CPU）、图形处理单元 （GraphicsProcessingUnit，GPU）和现场可编程门阵列（FieldProgrammableGateArray，FPGA）等一个或多个处理模块组成，负责即时任务处理[12]。通过路由器和交换机等网络设备，用户产生的计算任务可传输到计算设备中。另外，通过引入计算能力，路由器设备可以同时具备转发和计算功能。当计算任务经过计算赋能路由器设备时，它可以在本地处理任务，也可以将任务转发到其他设备[13]。因此，对于一些小型计算任务，在任务转发沿途即可完成计算并返回给用户。 空基网络：在空中部分，飞行无人机可以作为边缘服务器，为地面用户提供低时延的边缘缓存和计算能力。NVIDIAJetson系列的轻型无人机嵌入了轻量级的人工智能平台，可以将推理阶段最深度的学习任务调度到无人机层的轻量级AI平台。每架无人机配置有固定的飞行轨迹，以服务于某块特定的区域[14]。 天基网络：在一些用户密度低，可用网络资源有限（如部分地区只有天基网络覆盖）的地区，可通过与卫星通信满足体验质量 （QualityofExperience，QoE）和服务质量 （QualityofService，QoS）需求。同时，在卫星运行过程中，也会生成许多计算任务，例如地球观测数据处理、故障诊断和管理等[15]。然而，由于近地球轨道（LowEarthOrbit，LEO）卫星有限的计算能力和星上能源供应有限，其一般执行轻量级的计算任务，而地球静止轨道（GeostationaryOrbit，GEO）和中地球轨道（MiddleEarthOrbit，MEO）卫星比LEO卫星拥有更可观的计算资源和太阳能能源[16]。因此，若GEO卫星计算资源充足，可将MEO产生的计算任务调度到GEO处理。此外，对一些在没有地面网络覆盖而且时间紧迫的服务需求，将任务