4-5 差分隐私原理以及在数据安全中的应用 - 刘勇 中国人民大学

差分隐私原理及其应用

隐私保护的挑战

• 数据隐私：大数据时代，个人数据隐私成为关注焦点。
• 模型隐私：即使不发布训练数据，仅发布训练模型也可能存在隐私泄露风险，如模型反向推理攻击（Model Inversion Attacks）和成员推理攻击（Membership Inference Attacks）。

差分隐私原理

• 定义：差分隐私是一种严格且数学化的隐私保护方法。若在相邻数据集上，算法输出分布具有相似性，则该算法满足ε-差分隐私。
• 应用场景：差分隐私能够有效抵御多种攻击手段，如成员推理攻击、属性推理攻击和记忆攻击。

差分隐私算法

• 三种添加随机噪声的方式：

  • 输出扰动
  • 目标函数扰动
  • 梯度扰动

• 随机噪声 vs 清洁数据：适当添加噪声不仅不会降低模型性能，反而有助于跳出局部最优解，增强模型鲁棒性。

数据异质性差分隐私算法

• 改进：经典差分隐私算法将所有数据同等对待，而数据异质性差分隐私算法根据不同数据点对模型的影响程度决定是否添加噪声，从而减少噪声总量，提高模型精度。
• 理论分析：差分隐私算法在梯度下降前先评估数据点对模型的影响，影响小的数据点无需添加噪声。

差分隐私应用

• 联邦学习：
  • 原理：数据不动模型动，联邦学习使用模型交互而非数据交互。
  • 挑战：数据分布不同、数据量不均衡、通信不稳定。
  • 解决方案：联邦学习采用本地模型加权平均的方式合并全局模型，通过优化目标函数来提升算法效果。
  • 实验结果：FedAvg算法在多组非独立同分布数据上表现优异，尤其在处理数据分布不一致性方面效果显著。

前景与展望

• 未来方向：在非凸问题和非i.i.d.问题下提升模型精度仍然是研究重点。
• 挑战：非凸深度模型和非i.i.d.数据源是当前研究的难点。