端侧算力网络白皮书

端侧算力网络 白皮书 （2022年） 中国移动通信集团终端有限公司、北京邮电大学中国信息通信研究院、中国通信学会 2022年7月 版权声明 本白皮书版权属于中国移动通信集团终端有限公司、北京邮电大学、中国通信学会共同所有，并受法律保护。转载、摘编或利用其它方式使用本报告文字或者观点的，应注明来源。违反上述声明者，本学会将追究其相关法律责任。 专家组和撰写组名单 专家组组长 张宏科中国工程院院士 撰写组（按单位名称排名） 单位 姓名 中国移动通信集团终端有限公司 汪恒江、崔芳、倪茂、 王绍颖、周婷等 北京邮电大学 王文博、张兴、张佳鑫、孙钰坤、胡远林、李泱、黄昊楠等 中国信息通信研究院 许志远、王骏成 推荐意见 近年来，在“新基建”、“东数西算”等国家政策和工程的指引下，算力的概念成为运营商、互联网企业、设备商和学术机构的热门话题，算力网络也已经成为未来6G网络的潜在技术和关键能力。随着物联网、5G/6G、边缘计算、AI的不断融合发展，各种类型终端特别是智慧型终端的算力显著增强，端侧算力资源在智慧城市、智能家居、智慧养老、智慧农业等垂直领域发挥了重要作用。面向海量泛在异构的终端节点，需要探索和研究端侧算力网络及其使能技术。 化”两个方向，重点聚焦于算力网络。而近年来终端设备种类和数量飞速增长，终端设备在算力网络中的作用越来越凸显，为了有效地利 算网融合技术在多领域得到高度认同，被广泛视为加速产业数字化升级演进的重要抓手。算网融合围绕“计算网络化”和“网络计算 用泛在的终端设备，亟需提出一种在终端侧延展的算力网络架构——端侧算力网络。 端侧算力网络是算力网络的一个重要分支，但是又不同于常规算力网络，不需要算力应用企业来集中投资建设基础设施，而是在一定的空间内把海量用户终端的空闲算力，通过网络设施进行汇集和组织，直接为终端设备提供泛在的AI算力服务。通过端侧算力网络可以将泛在的分布式算力有效汇聚起来，聚沙成塔，成为算力网络中的一个重要算力供给方。 本白皮书着眼于6G时代的网络特点和发展趋势，详细地分析了终端的发展现状、基本特征和发展趋势，具体阐释了端侧算力网络的概念、体系架构、功能架构及其主要特征，总结了端侧算力网络的各项关键使能技术，并展望了端侧算力网络在智能家居、智慧医疗、智慧教育、智慧农业等领域的潜在应用场景。 于助力虚拟世界与现实世界的深度融合，而端侧算力网络的建设将使得终端设备展现出更多的新应用。 从实际应用的角度看，在算力网络的基础之上进一步构建端侧算力网络，有望真正地实现将分布式的算力充分利用赋能万物智能时代的算力需求的愿景。近些年，终端设备以前所未有的种类与数量融入百姓的生活之中，一方面终端设备所能提供的算力能力日益增强，另一方面，终端设备所能承载的服务越来越多样，移动通信系统的飞速演进也将为终端设备带来越来越多的新功能，未来的终端设备将有望 从技术驱动的角度看，每一项新技术的提出、每一种新型网络架构的出现，都不是孤立演进的，而是需要与相关领域的其他技术协同发展的。从云计算的提出，到边缘计算的出现，直至算力网络的提出，都是源于大数据、人工智能、内生安全等技术的需求和驱动。如今，芯片技术的飞速演进、可穿戴设备、脑机接口等新型终端设备的出现与发展，端侧算力网络及其相关的使能技术将持续且深入地得到探索与研讨。 鉴于端侧算力网络的重要意义和巨大发展潜力，此白皮书有助于 产业界和学术界各方凝聚更多共识，抓住数字经济发展的战略机遇，助力加快国家算力网络战略、前沿技术和应用的发展！ 中国工程院院士、北京交通大学教授 前言 第六代移动通信系统（6G）和低轨卫星通信系统所引领的新技术浪潮方兴未艾，成为全球众多国家的研究热点。移动通信网络在发展演进中，算力需求的快速增长与分布式泛在算力利用率低效之间的供需矛盾问题日益凸显。面向智能家居、智慧医疗、智慧城市等新型垂直应用场景，分布式多级端侧算力节点资源相对受限且缺乏协同管控能力，导致了端侧算力资源难以得到高效利用；因此如何充分聚合泛在终端的算力资源，是整体实现算力网络体系的重要环节，也是提升网络整体资源利用率的关键。因此，面向网络中海量泛在异构的终端节点，亟需探索研究端侧算力网络及其使能技术。 针对算网融合发展趋势提出的新型网络架构，通过无处不在的网络将分布各处的计算资源相互连通，通过统一协同调度，使不同的应用能 在算网融合的大背景下，算力网络的概念应运而生。算力网络是 够按需、实时地调度不同位置的计算资源，实现网络和算力的全局优化，提供更高质量的用户体验。在此基础上，端侧算力网络则着眼于泛在终端的算力利用率和计算效率的提升，基于现有的蜂窝网络、无线网络等网络基础设施，解决在分散的、非一致性的设备上的分布式计算、隐私性存储等难题，为用户提供更加智能化的、个性化的应用服务体验。在算力网络中云边和网络的支撑下，端侧算力网络中的分布式多级终端侧算力资源有望得到更好的利用，构建高效的端侧算力体系架构和新型网络范式，实现端侧算力感知、资源虚拟协同、多粒 度算力调度以及安全隐私与可信交易。而端侧算力网络也可助推算力网络实现“网络无所不达，算力无所不在，智能无所不及”的愿景。 本白皮书基于现有的网络基础设施，从“端侧算力的有效利用”的角度出发，提出并系统分析了端侧算力网络的概念内涵，详细总结了终端的发展现状、基本特征和发展趋势；具体阐释了端侧算力网络的概念、体系架构、功能架构及其主要特征；总结了端侧算力网络的各项关键使能技术，并给出了端侧算力网络的应用场景。需要指出的是，本白皮书尚未涉及端侧算力网络对网络基础设施支撑的相关技术要求及其对算力的影响。希望通过本白皮书，加快国家算力网络相关技术和应用的发展，凝聚学术界和产业界共识，推进端侧算力网络技术加快发展并走向商业成熟。 目录 一、终端的发展背景1 1.1终端的发展现状1 1.2终端的基本特征2 1.2.1智能化不断增强2 1.2.2资源受限性3 1.2.3算力的差异性3 1.2.4泛在分布性5 1.2.5通信受限性5 1.2.6隐私数据安全性5 1.3终端的发展趋势6 二、端侧算力网络的概念及架构10 2.1端侧算力网络的概念11 2.2端侧算力网络的体系架构12 2.3端侧算力网络的功能架构17 2.4端侧算力网络的主要特征20 三、端侧算力网络的关键技术22 3.1层次化端算力感知图模型22 3.2面向多终端协同的资源虚拟化技术23 3.3多终端协同的数据压缩技术25 3.4多粒度多层次端算力调度25 3.5面向终端设备的现场级AI推理28 3.6端算力的定价机制29 四、端侧算力网络的隐私与安全31 4.1认证与鉴权31 4.2数据安全保护32 4.3可信交易34 五、端侧算力网络的应用场景37 5.1智能家居37 5.2智能医疗38 5.3车联网40 5.4智慧教育41 5.5智慧农业42 六、结束语44 参考文献45 缩略语49 一、终端的发展背景 1.1终端的发展现状 近年来，随着智能终端硬件技术的快速发展和应用领域的扩大，智能终端呈现多种多样的产品形态，如可穿戴设备、智能家居、IoT以及车载设备等。其中为主要代表的平板电脑在2021年全球销量1.68亿部，同比增长2.9%；智能手机在2021年全球总出货量达16.993亿 部；可穿戴设备2021年全球全年出货量为5.336亿台，比2020年增 长20%。根据统计数据显示[1]，到2023年，人均联网设备将达到3.6 台，高于2018年的人均联网设备2.4台，同时到2023年，将有293 亿台联网设备，高于2018年的184亿。由此可见，智能终端产业将长期处于高速发展阶段，而且伴随着智能终端种类的增多，其产业规模和渗透率将会持续扩大。越来越多的非智能设备会进行智能化改造，例如家电、汽车、工业设备等；越来越多的传统行业会进行信息化建设应用智能终端提高生产效率，例如医疗、教育、物流、税务、能源等；这些都将对智能终端技术提出更多的需求。 随着智能业务、沉浸式业务和数字孪生等新业务的不断发展，对网络以及终端都提出了更高的智能化信息处理需求。不同类型的业务和不同的服务需求，数据处理时延和精度的要求不尽相同。随着端侧算力能力的提升，边缘计算技术和芯片技术的发展使得端侧网络能够支撑大量的运算任务，并存在着大量过剩的算力。算力是数字经济与人工智能时代下的生产力，各行各业对数据处理的规模和实效性需求 快速上升，人工智能等产业发展促进了服务的升级，推动了算力向边缘扩展。然而，由于当前终端设备主要起到传感器设备的作用，进行数据感知并将数据上传到云端进行处理，导致当前端侧与云端的算力供给方式利用率不足15%，算力需求快速增长与泛在算力利用率低的供需矛盾日益凸显，端侧算力技术成为算力基础设施建设的重要组成部分。 泛终端生态活跃度落后于国内，针对异构多终端算力、能力协同的研究大多仍然停留在高校的研究阶段，缺少实际落地应用，没有成型的 目前国内端侧算力相关产业和技术蓬勃发展，信息基础设施建设稳固，通信基础好。终端生态活跃，具有多品牌的异构设备，设备数量规模巨大，极具发展潜力，生态方面，展现出百家争鸣的态势，这也导致设备统一纳管难度比较大，耗时比较长。目前异构多终端，能力协同和纳管也处于研究阶段，没有成熟的产品方案。而当前国际上 产品与方案。 1.2终端的基本特征 1.2.1智能化不断增强 得益于半导体工艺、流程与技术的不断成熟，终端设备芯片中晶体管的数量呈现出爆炸性的增长趋势，使得CPU、DPU和GPU等处理器的计算性能得到快速的升级，加之AI芯片在终端设备的普及性应用，在手机、平板电脑等移动设备终端运用本地化人工智能加速器进行机器学习，实现人物识别、情感分析、APP垃圾信息处理、分析 用户的设备使用习惯等已成为可能，自动驾驶汽车作为新一代移动终端，引领众多芯片厂商投入算力升级的研究中，英伟达推出的自动驾驶芯片Atlan，单颗芯片的算力便达到1000TOPS[2]，随着端侧芯片算力的快速升级，相对于边缘计算和云计算来说，终端设备的AI计算劣势不再明显。 1.2.2资源受限性 端算力提供者，但是由于用户业务需求的潮汐效应以及随时间的波动性变化，分布式的终端往往存在大量过剩的算力，无法得到充分地应 终端设备通常由电池供电，不具备长时间连接电源的条件，因此终端设备的计算能力常常受限于电池容量的大小，同时由于终端设备体积的限制，终端设备往往无法采用高功耗、高性能的芯片，因此面对计算密集型的任务，单个终端设备往往无法在时效范围内有效地完成任务的处理，虽然终端研制和芯片技术的发展萌发出多种类型的终 用。 1.2.3算力的差异性 如下表所示，终端设备搭载的芯片可提供的算力差异明显，可提供1TOPS到几百TOPS不等的算力，应用于不同的场景具体表现为，同一生产商同一种类不同型号的芯片具有较大的算力水平差异，同一种类的终端设备也往往搭载不同的芯片，形成泛在终端算力分级的形态，同时，同一芯片进行不同精度的数据处理也具有不同的算力。此外，作为电池供电设备，多样化的终端设备的电池容量具有较大的差 异性，可穿戴设备往往只有100mAh容量，扫地机器人等家用电器可达2000mAh，台式机、电视等非移动终端往往为插电设备，工作时可以一直供电，电池容量的差异性也导致泛在终端有效算力具有非常大的动态变化的差异性。 表1芯片的算力差异性对比[3-5] 算力水平 典型芯片 支持数据类型 芯片算力(对应数据类型) 典型应用 0~10TOPS/TFLOPS 瑞芯微RK3566 INT8 0.8 门禁设备、考勤设备、车载终端、可穿戴设备、智能手机、智能音箱、机器人 瑞芯微RK1808 INT8 3 寒武纪Cambricon-1M-4K INT8/INT16/INT32 8/4/1 10~100TOPS/TFLOPS 华为昇腾310 INT8/FP16 22/11 100~1000TOPS/TFLOPS 寒武纪思元270-S4 INT4/INT8/INT16 256/