1-4 联邦学习技术应用创新探索- 周旭华

联邦学习技术应用创新探索

1. 联邦学习简介

• 背景介绍：当前存在大量“数据孤岛”现象，即政府数据、行业数据等彼此独立，难以共享。
• 联邦学习概念：联邦学习是一种在保护数据隐私的同时进行多方联合机器学习的方法，其核心理念是“数据不动模型动”。
• 分类：联邦学习可分为横向联邦学习（不同分段数据上进行训练和合并）和纵向联邦学习（建模算法拆分为不同模块，分别训练并交互中间参数）。
• 与其他隐私保护计算技术：联邦学习的特点在于增加交互安全性，强调“数据不出平台”。

2. 创新探索

• 创新探索一：不同系统架构灵活适应不同的业务场景需求

  • 标准架构和交易中心架构能够满足中国电信等大型数据提供者的需求，解决亿级大数据量、高延时等问题。
  • 标准架构特点：支持多行业数据开发，解决现网应用中的大数据量、低带宽和高延时问题。
  • 交易中心架构特点：管理模块与计算模块分离，保证数据不出管理域。

• 创新探索二：纵向联邦学习场景下的新数据检测方法

  • 通过训练数据特性的提取与分类分析，计算新数据的有效性概率。
  • 使用概率阈值判断数据是否异常，基于有效训练数据计算特征的概率分布。

• 创新探索三：抗成员推断攻击的联邦线性模型在线推理

  • 采用过滤器、同态加密和随机数乘法盲化法保护请求，防止成员推断攻击。
  • 通过上述方法确保发起方请求的安全性。

• 创新探索四：针对纵向联邦学习的异步优化方法

  • 引入缓存单元，打破参与方之间的依赖关系，实现异步训练，提高训练效率。
  • 解决了传统同步训练导致的训练时间受限于最慢参与方的问题。

• 创新探索五：参与方在联邦学习系统中的模型价值贡献评估

  • 基于支持向量机（SV）理论，评估参与方数据对联邦模型的贡献。
  • 通过考虑特征重要性，反映各方数据在联邦学习系统中的价值。

以上是关于联邦学习技术应用创新探索的主要内容和关键数据。