边缘学习：隐私计算白皮书

边缘学习：隐私计算白皮书边缘计算产业联盟ECC 安全工作组2022年6月 完成单位：北京大学清华大学华为技术有限公司国家工业信息安全发展研究中心中国移动通信有限公司研究院深信服科技股份有限公司奇安信科技集团股份有限公司绿盟科技集团股份有限公司亚信科技（中国）有限公司北京八分量信息科技有限公司东吴证券股份有限公司卡奥斯工业智能研究院（青岛）有限公司上海宝信软件股份有限公司主要完成人：沈晴霓、黄还青、方跃坚、李 琦、庞 婷、王冲华、孔 同、于 路、聂文静、古 亮、张 欢、乔思远、陈 磊、杨爱东、王 达、阮安邦、陈少伟、张之浩、张子华、林 宏、黄玉宝、陈骏林其他参与人：董佶圣、许浩然、黄 希、侯慧婷、曹 暾、汪钦霆、罗晟泽、李沛洋、信 伦、郭漫雪、李 征、孟宾宾、郑景中、刘 浩、于琳琳、吴墨翰、屈晋先、任栩萱、华仁杰、唐淑艳、孙 明、胡明臣、杜召娟、赵士超、代真虎、李 琳 当前，个人数据隐私保护已经成为国际关注的重要问题，各国陆续推出隐私保护相关的法律法规和技术标准，如欧盟《通用数据保护条例》、美国《统一个人数据保护法案》、英国《数据保障法案》、我国《数据安全法》和《个人信息保护法》以及ISO/IEC国际标准《信息技术-安全技术-隐私架构框架》等，使得同态加密、秘密共享、茫然传输、混淆电路、零知识证明、差分隐私、群/盲签名、远程证明等成为保护个人数据隐私的基础理论和方法，并基于这些基础理论和方法逐步发展形成了以联邦学习、安全多方计算和可信执行环境三大技术为主的隐私计算技术体系。随着5G、物联网、大数据、云计算、人工智能等技术的快速发展与应用，数据共享和联合建模的需求越来越迫切。近年来基于云的中心化机器学习技术进入发展的“快车道”，并且在计算机视觉、自然语言处理、大数据分析等众多领域获得成功应用。然而，基于云的中心化机器学习面临计算延迟大、可扩展性不足、数据隐私保护能力差等多重挑战。为了应对上述挑战，边缘学习的概念近年来被提出并受到了学术界和产业界的广泛关注。边缘学习是一种基于“云-边-端”层次化、分布式的计算架构，使得数据在数据源本地或者最近的边缘服务器上得到处理，用于训练本地的机器学习模型和进行模型推理，只需要和云中心通信必要的模型参数，大大减少了对云中心的依赖，降低了模型计算延迟，提高了可扩展性，保护了数据的隐私性。边缘学习是边缘计算实现边缘智能服务的核心内容，根据其分布式架构不同可分为以下三类。前言PREFACE»终端设备学习：直接在终端设备上执行模型的训练与聚合；»边缘服务器学习：将模型的训练与聚合都放到边缘服务器上，终端设备仅需发送数据与接收学习的结果，改善了终端设备算力不足的约束；»云边端协同学习：通过将终端设备、边缘服务器和云中心智能地联合起来共同参与模型训练。事实上，边缘学习采取数据在就近边缘服务器/终端设备本地进行处理的方式，本质上就是隐私计算的一种实现方法。但是“云-边-端”架构的边缘学习模式对隐私保护的需求不同，包括：边端协同、云边协同、边边协同和云边端协同四种应用场景，每种场景下的边缘学习系统在数据、网络、计算和模型层面都会面临新的攻击，导致隐私泄露风险。而采用联邦学习、安全多方计算或可信执行环境等隐私计算技术保证边缘学习过程数据隐私性，需要对协同计算方之间交互的模型信息（如模型参数）进行加噪声（差分隐私）、加密（如同态加密、安全多方计算）等处理，会降低最终模型的精度、影响模型的收敛速度和学习过程的公平性和持续性。为此，本白皮书针对边缘学习中隐私计算需求与应用场景、风险与技术挑战、技术架构与关键技术、实践与案例分析方面展开论述，为学术界与产业界开展面向边缘学习的隐私计算技术方面的研究、实践和应用提供有益的参考和指导。 第一章:边缘学习：基本概念、特征与分类011.1 边缘学习相关概念 021.2 边缘学习特征与优势 041.2.1边缘学习特征041.2.2 边缘学习优势041.3 边缘学习技术分类 051.3.1 终端设备学习051.3.2 边缘服务器学习051.3.3 云边端协同学习06第二章：边缘学习：隐私计算需求与应用场景072.1边缘学习：隐私计算相关法律法规与标准 082.1.1 边缘学习：隐私计算相关法律法规082.1.2 边缘学习：隐私计算相关标准092.2边缘学习：隐私计算需求 112.3边缘学习：隐私计算应用场景 122.3.1 主从式部署122.3.2 对等部署152.3.3 场景对比15第三章：边缘学习：隐私计算风险与技术挑战163.1边缘学习安全风险 173.1.3数据风险173.1.2 网络风险173.1.3 计算风险173.1.4 模型风险183.2边缘学习技术挑战 193.2.1 模型精度193.2.2 学习效率193.2.3 激励机制20 第四章：边缘学习：隐私计算架构与关键技术214.1边缘学习：隐私计算架构 224.2边缘学习：隐私计算关键技术 244.2.1 联邦学习244.2.2 安全多方计算244.2.3 可信执行环境254.3边缘学习：隐私计算支撑技术 274.3.1 差分隐私274.3.2 同态加密274.4边缘学习：隐私计算相关技术 284.4.1 可验证计算284.4.2 区块链服务28参考文献45第五章：边缘学习：隐私计算实践与案例分析305.1奇安信案例 315.1.1 金融行业：面向小微企业的供应链金融风控方案315.1.2 医疗行业：面向疾病研究与辅助诊断方案325.2深信服案例：云边协同恶意文件检测方案 335.3亚信科技案例 345.3.1 客户管理领域：客户体验管理方案345.3.2 医疗服务领域：医疗场景智能推荐服务方案365.4东吴证券案例：证券期货投资者的风险承受能力检测方案 395.5海尔案例：工业互联网的网络安全与隐私计算解决方案 415.6宝信案例：工业制造领域云边端协同的隐私计算解决方案 43 第一章边缘学习：基本概念、特征与分类 边缘学习：隐私计算白皮书02第一章：边缘学习：基本概念、特征与分类图1-1 边缘学习架构图[6]边缘计算[1,2,3,33]：它是指在靠近物或数据源头的网络边缘侧，融合网络、计算、存储、应用核心能力的分布式开放平台（架构），它可以就近提供边缘智能服务，满足行业数字化在敏捷联接、实时业务、数据优化、应用智能、安全与隐私保护等方面的关键需求。它可以作为联接物理和数字世界的桥梁，主要包括三类落地形态，云边缘、边缘云和边缘网关。边缘计算的技术体系涉及边缘原生、边云协同、边缘智能、边缘连接等独特技术能力，并涉及计算、存储、连接、云、视觉、人工智能等通用技术能力的应用。隐私计算[4,34]: 它旨在确保处理和分析计算数据的过程中能保持数据透明、不泄露、无法被计算方以及其他非授权方获取，即在提供隐私保护的前提下实现数据价值挖掘的技术体系，包括差分隐私、同态加密、安全多方计算、零知识证明、可信执行环境、联邦学习等技术，根据具体的实现功能，又主要分为三大类：在不公开数据的情况下执行本地分析与处理（如联邦学习，具体见4.2.1）、在处理之前转换数据和/或算法（如安全多方计算，具体见4.2.2）、提供可信的安全隔离环境来执行和处理（如可信执行环境，具体见4.2.3）等。联邦学习[5,28]：它是隐私计算的一种主要实现技术，旨在建立一个基于分布数据集的联邦学习模型。联邦学习包括两个过程，分别是模型训练和模型推理。在模型训练的过程中，各方的模型相关信息（如模型参数）能够（以明文、加干扰或加密等形式）互相交换，但参与训练的数据不能直接交换，以保护各方数据的隐私性。已训练好的联邦学习模型可以部署在联邦学习系统的各参与方，也可以部署在多方之间实现协同共享。当模型推理时，各方模型可以应用于同一数据实例（如不同医院对同一病历的诊断），各方将协作进行预测。联邦学习需要有一个公平的价值分配机制来分配协作所获得的收益，即设计有效的激励机制来保证联邦学习过程的可持续性。根据联邦学习的网络架构，它分为需要协调方的分布式联邦学习和无需协调方的对等联邦学习两种方式，前者是各参与方使用各自的数据训练本地模型，再由协调方将收到的各方模型进行聚合，后者则是各参与方在本地训练之后无须借助第三方便可以直接与其他参与方通信以进行模型的更新和聚合。边缘学习[2,3,4]：它是基于“云-边-端”层次化、分布式的计算框架，在边缘层进行模型训练与模型推理的过程，如图1-1所示。一方面，它可以使得数据能够在数据源本地（如：边缘服务器或者终端设备）得到处理，用于训练本地的机器学习模型，从而保护数据的隐私性；1.1边缘学习相关概念云数据中心深度学习因特网边缘服务器边缘服务器深度学习深度学习边缘设备终端设备 边缘学习：隐私计算白皮书03第一章：边缘学习：基本概念、特征与分类另一方面，边缘服务器也可以通过将本地模型相关的信息（如模型参数）与云计算中心或者直接与其他边缘服务器（以明文、加干扰或加密等形式）相互交换，进行模型更新和聚合，最终得到一个全局模型，并使得云计算中心和其他边缘服务器都不能够猜测到其本地的隐私数据内容。已训练好的模型可以部署在边缘服务器，为终端设备和用户提供模型推理的智能服务。如图1-2所示，边缘学习是边缘计算实现边缘智能服务的核心内容。其中云边端协同（云边协同、边端协同、边边协同）计算模式下的边缘学习可以实现基于层次化/对等分布数据集的隐私计算，包括基于联邦学习、安全多方计算和基于可信执行环境的隐私计算；同时，边缘学习采取数据在就近边缘服务器/终端设备本地进行处理的方式，为实现基于联邦学习的隐私计算提供了基础保障。图1-2 边缘学习相关概念之间关系图边缘计算隐私计算边缘学习安全多方计算联邦学习可信执行环境 边缘学习：隐私计算白皮书04第一章：边缘学习：基本概念、特征与分类1.2边缘学习特征与优势1.2.1边缘学习特征数据层面»数据异构性：在边缘学习系统中，不同应用场景（如工业边缘、企业/IoT边缘、电信运营商边缘等）均部署多样化的物联网传感器、移动终端、可穿戴设备等，它们会产生不同规模、不同类型（如声音、图像等）的数据。[2]»非独立同分布：在边缘学习系统中，不同设备的数据通常由不同用户产生。非同源数据往往具有不同的分布特征。同时，边缘学习强调在局部范围内完成数据训练。在局部范围内，不同用户/传感器之间的数据往往具有依赖关系。[3]设备层面»计算资源差异大：参与边缘学习的设备计算资源差异较大，通常云服务器具有较大的算力和网络带宽，但是边缘服务器（如：边缘网关）和终端设备（如传感器、智能手机等）通常只具有很有限的存储、计算能力和通信带宽。»计算环境异构性：在边缘学习系统中，边缘计算产品需要考虑适配各种条件约束（如防电磁、防尘、防墨、抗振动、抗电流/电压波动等），支撑行业数字化多样性场景，所以不同场景约束下的边缘计算设备通常采用不同的软硬件集成与优化技术，使得它们的计算环境呈现较大的异构性。[3]模型层面»学习时间差异大：由于参与边缘学习的各设备计算资源差异大和计算环境异构，很可能导致不同设备的本地模型训练/预测的时间产生较大的差异。[5]»模型精度差异大：在边缘学习系统中，由于参与边缘学习各设备的数据来源和数据规模不同，很可能造成不同设备上模型之间的精度有较大的差异。»通信/同步开销大：在边缘学习系统中，边缘计算的实际部署天然具备分布式特征，通常由大量不同的设备（如智能手机、自动驾驶汽车、传感器、可穿戴设备、边缘服务器和网关等）之间的多种复杂通信协议构成，很可能造成云边端协同学习需要进行大量的通信和同步，使得边缘学习的效率变差。[6]1.2.2 边缘学习优势高效学习由于边缘学习使得数据在数据源本地或附近尽快得到处理，避免了在网络上传输大量的数据，或者仅需与云/其他边缘服务器进行少量的通信，大大降低了训练延迟[6]，所以基于多数据源的边缘分布式学习比基于云的中心化学习更加高效。隐私保护由于边缘学习是在数据源本地或者就近的边缘服务器上进行分析和处理，用于训练本地的机器学习模型[6]，所以边缘学