3-4 隐私计算在大数据 AI 领域的应用实践 - 龚奇源

隐私计算在大数据AI领域的应用实践

隐私计算背景

• 需求与合规：随着个人隐私和安全意识的提高，各国出台了一系列法律法规，如欧盟的GDPR、美国的CCPA以及中国的网络安全法和数据安全法。这些法规对数据隐私和安全提出了更高的要求。
• 案例：据统计，全球因违反隐私法规而被处罚的企业已超过1000家，罚款总额接近110亿美元，其中单次最高罚款达到数十亿美元。

隐私计算现状

• 热点领域：隐私计算成为行业热点，吸引了大量企业和投资，推动了相关技术的研究与发展，包括差分隐私(DP)、可信执行环境(TEE)、同态加密(HE)、安全多方计算(SMC)和联邦学习(FL/FML)。

大数据AI+隐私计算

• 常见痛点：如何兼容现有应用、迁移现有应用、处理大规模数据、支持联邦学习、解决数据孤岛问题等。
• 解决方案：
  • BigDL PPML：利用Intel SGX技术构建安全的大数据AI环境，保护敏感数据和计算过程的安全。
  • Apache Spark安全：通过网络加密(TLS/AES)、存储加密(AES)等方式增强安全性，但存在开发成本高、代码难以复用的问题。
  • 联邦学习：通过SGX技术构建安全的联邦学习环境，实现跨机构模型训练，保护本地数据不泄露。

具体案例

• 实时流计算
  • 天池大赛：阿里巴巴、Intel和Occlum社区共同举办PPML竞赛，使用Flink和PyTorch实现在线电商推荐系统中的垃圾邮件检测。
  • SKT项目：SKT移动边缘计算提供基于BigDL PPML的安全实时分布式深度学习推理服务，每秒处理图像数达1300张，性能损耗小于5%。

总结与展望

• 痛点与挑战：隐私计算在大数据AI领域面临诸多挑战，如兼容性、迁移性、性能影响、大规模数据处理和数据孤岛问题。
• 解决方案：利用Intel SGX等技术构建安全执行环境，LibOS帮助应用无缝迁移，确保性能影响最小并支持大规模数据处理。联邦学习有效解决了数据孤岛问题。
• 未来趋势：可信执行环境(TEE)的发展趋势包括提升易用性、支持更广泛的容器技术(TDX/Realm/SEV-SNP)、增强安全性(TEEOS, Micro kernel)、提升扩展性和支持更多的加速器(GPU/QAT/FPGA)。