金智塔“智隐”平台架构设计与公共数据落地实践

金智塔“智隐”平台架构设计与公共数据落地实践 演讲人：巫锡斌金智塔首席架构师 Contents 目录 总体介绍架构设计互联互通落地实践 01总体介绍 •金智塔“智隐”平台的架构设计选择 •互联互通系统设计与实践经验 •隐私计算在公共数据授权运营中的应用 互联互通 概念兴起 以国家重点研发项目为契机，金智塔开启隐私计算平台自主研发之路 技术验证 “智隐”1.0发布，具备多方安全计算和联邦学习两大技术能力 平台技术验证，试点部署，在实际场景中基本达到可用 商业落地 “智隐”2.0发布，丰富算法功能，提高算法安全水位，提升平台易用性 针对金融、政务两大领域，以业务驱动、场景驱动，提供数据流通解决方案 规模应用 “智隐”3.0发布，安全、性能、可靠性达到达到大规模生产可用 构建金智塔隐私计算数据生态，涵盖政务、金融、物流、通信等十几个领域 “智隐”4.0发布，加强互联互通支持，打破计算孤岛 探索隐私计算前沿技术，密码学、信息论、硬件加速等多种技术的融合应用 2023年（4.0） 2022年（3.0） 2019年（0.1） 2020年（1.0） 2021年（2.0） •通过中国信通院功能、性能、安全性评测； •通过国家金融科技评测中心认证、通过华为云兼容性评测 •通过公安部三级等保评测 •浙商银行、宁波银行、浙江农商联合银行…… •**省大数据局、**省统计局、**市发改局…… •**家电集团、**手机集团…… Security 隐私计算特点 数据可用不可见 融合密码学、可信硬件、信息论等技术，数据在密态交换、计算，保证数据可用不可见 计算可信可链接 计算过程经过严格的校验、密码学理论证明，保证算法过程可信、可互通 用途可控可计量 数据提供方计算贡献度衡量，区块链存证、审计，保证数据合法、合规使用 权威评测 典型客户 02架构设计 工业级的隐私计算平台有哪些设计目标？ 可扩展：算法组件热插拔 可集成：平台开放API，易于集成 互联互通：异构平台算法互通 算法安全：安全假设、算法协议、密钥强度 通信安全：信道安全、防篡改、抗重放 平台安全：身份认证、访问控制、存储安全 设计目标 多维平衡：安全、性能、准确性的权衡 分布式并行：大规模分布式计算 软硬结合：GPU、ASIC、TEE硬件加速 集群部署：弹性扩容，避免单点故障 自动容错：计算任务恢复、数据备份恢复 监控运维：多维度监控预警，提升可观测性 特征⼯程 计算引擎层 Parser Planner 联合SQL Optimi zer Executor 机器学习 计算平台层 管理台 计算调度层 Ray Docker Kubernetes 计算 存储 ⽹络 集群化部署 •弹性扩缩容，多租户资源隔离 •多机部署，自动容错 两种分布式编程框架 •MPI：适合多方计算同构(SPMD) •ObjectRef：基于MPI，适合多方计算异构(MPMD) 安全原语层，三种技术路线 •多方安全计算 •联邦学习 •可信执行计算 联合SQL（BI） •基于安全原语实现关系型算子 •基于ApacheCalcite实现SQL解析优化 联合建模（AI） •基于安全原语实现数值型算子，封装成Tensor矩阵运算库 •基于Tensor实现各类特征工程和机器学习算法 “两台九中心” IV VIF WO E … 逻辑回归 随机森林 梯度提升 树 神经⽹络 … Tensor（数值型算⼦） addsubmuldivltmatmulexplogsigmoid… 关系型算⼦ andorjoin groupbyorderby… OT PSI PIR 秘密分享 SPDABY…Z2k3 同态加密OUPaill…ier 差分隐私 LaplaGaus cesian 可信执⾏环境 IntelAMDARMSGXSEVTZ ObjectRefDistributedRuntime（MPMD） MPICollectiveCommunication（SPMD） X86 ARM GPU/FPGA 国产服务器 ⽂件存储 对象存储 块存储 数据库 公⽹ 专线 负载均衡 证书管理 ⼯作台 节 ⽤ 审 运 互 数 项 服 审 点 户 计 维 联 据 ⽬ 务 批 中 中 中 中 中 中 中 中 中 ⼼ ⼼ ⼼ ⼼ ⼼ ⼼ ⼼ ⼼ ⼼ 适配不同机构基础设施 •国产信创：CPU、操作系统、数据库 •数据存储：对象存储、Hive、ODPS •国密通信：SM2、SM4 大规模分布式并行计算 RayNode RayNode RayNode RayNode RayNode RayHead RayNode RayNode RayNode RayNode RayNode RayHead Coordinator Coordinator Platform Platform Kubernetes Kubernetes CoreDNS Redis CoreDNS Redis 机构A机构B 去中心化、全对称架构 分布式计算、分布式存储 跨机构通信统一域名寻址 中心化去中心化 优点： 单一边缘计算集群，资源统一调度 跨机构任务编排简单缺点： 数源节点无法同时加入到多个调度节点 调度节点容易成为单点瓶颈 去中心架构，数据方、算法方、计算方可快速接入，与数据网络已有节点建立链接 数据网络中的节点可以任意组群进行隐私计算作业，一个节点可以加入多个群组 物理链路无法直接连通的节点可以通过中间节点进行一跳或多跳路由跳转 分布式计算方案 •使用Ray作为分布式计算引擎，算法自动进行单机、多机并行计算 •基于k8snamespace实现多租户资源隔离与配额，包括CPU、内存、磁盘 •每个租户一个独立的Ray集群，kuberayautoscaler实现弹性扩缩容 •使用Minio作为内置分布式对象存储 Spark Ray 优点 •丰富的数据处理API，适合大规模BI场景•成熟稳定 •灵活的并行模型，动态执行，适合AI场景•轻量级部署 缺点 •BSP模型，不适合细粒度任务控制•部署成本高 •缺乏数据处理API•隔离能力较弱 跨机构资源死锁 两阶段GangScheduling调度算法 1.任务发起方向各个参与方提交资源保留(Reserved)请求；若某一方资源不足，回滚保留资源（或等待超时释放），任务放回调度队列 2.任务发起方向各个参与方提交任务，锁定(Locked)资源，执行任务 *任务队列暂时支持FIFO调度策略，未来我们将探索更优策略，提高任务吞吐率 集群模式下，进程间如何通信？ Platform Platform Platform Platform Platform Platform 国密SSL RayHead RayNodeRayNode 2 3 4RayHead RayNodeRayNode Worker job-2.bob.svc RayNode Redis CoreDNS CoreDNS Kubernetes Kubernetes 机构A 机构B Redis RayNode Worker RayNode RayNode Coordinator Coordinator 统一域名寻址 Coordinator Coordinator Coordinator Coordinator •域名：[service].[namespace].svc RayHead RayNode RayNode RayHead RayNode RayNode RayHead RayNode RayNode RayHead RayNode RayNode •节点内、节点间通信统一通过域名进行服务寻址 RayNode RayNode Worker RayNode Worker RayNode 1 RayNode RayNode Worker RayNode Worker RayNode 优点： CoreDNS Redis CoreDNS Redis CoreDNS Redis CoreDNS Redis •跨机构网络打平，屏蔽复杂的物理链路网络 Kubernetes Kubernetes Kubernetes Kubernetes •点对点通信，避免消息队列带来的额外开销 •网关国密SM2/SM4信道加密，应用透明无感 不同技术路线、不同安全等级的机器学习算法实现 基于ApacheCalcite实现SQL解析、协议无关优化 基于业界优秀开源实现：libOTe、APSI、volepsi 类numpy接口，简单易用 futurework：自动求导 自研高性能协议实现：SEMI2K、SPDZ2k、ABY3 基于业界优秀开源实现：HEU、SEAL、 OpenFHE 基于秘密分享协议实现SQL关系型算子 futurework：探索多协议混合 三大技术路线全支持，与海光、华为合作打造国产可信计算平台 03互联互通 单个机构在对接多个合作方机构时，用户不得不部署多套产品分别实现对接，重复建设带来巨大的成本和资源浪费。 行业需求实现难点 多方数据融合增本降效 底层技术框架不同 数据流通基础设施 密码学协议不同 功能设计不同 ①平台互通 ②算法互通 ③原语互通 第一层次为平台互通，指不同的隐私计算平台可以在业务应用层次完成系统的管理功能互通。 节点认证 节点发现 资源管理 资源授权 第二层次为算法互通，指不同的隐私计算平台将各自的算法组件集成到对方的隐私计算平台，进行同构化的算法插件之间的互联互通。 组件黑盒 组件插拔 组件注册 第三层次为原语互通，指不同的隐私计算平台将各自的算法组件在算法流程上实现对齐。 最小粒度 底层实现 技术难度最大 组件白盒 以节点为基本组成单元，实现连通 节点的数据、算法、算力互联发现，授权使用 同一算法可以在不同平台上进行调度执行，实现计算协同 不暴露平台内部的设计细节保留平台自身设计的个性化 跨平台互联互通强调协同，既需要求同存异（节点互联、资源互联、计算互联），又需要保证各隐私计算平台的独立性、完整性和安全性 隐私计算平台 安装部署 隐私计算节点 节点互联 计算互联 隐私计算联盟 互联互通：避免“数据孤岛”变成“计算孤岛” 平台互通 算法互通 原语互通 网络架构方案特点 金智塔智隐 平台互通 招商慧点 算法组件 组件互通 算法组件 采用对等网络形态，平台与平台之间通信通过配置文件实现异构平台节点互联互通，对内部的计算与调度分发各自实现。跨平台的互联互通，各平台实现相同的功能，所承担的角色，地位平等，相互调用。 黑盒组件 金智塔“智隐”平台招行“慧点”平台 金智塔MPC组件 GRPC通信 金智塔MPC组件 其他算法组件 其他算法组件 招商FL组件 招商FL组件 HTTPS通信 交换节点证书 提起合作申请 确立合作成立 查询公开数据列表 返回公开数据列表申请数据授权 通过数据授权 查询算法组件列表 返回算法组件列表申请组件注册 组件注册完成 创建项目并选择使用的数据源和算法模型 确认数据源和算法模型相关信息启动计算任务 任务按算法协议运行 计算任务完成各自获取算法报告和模型结果 资源互联 任务互联 节点互联 算法互联 招行慧点平台 发起方 金智塔智隐平台 协作方 04落地实践 公共数据归集共享平台（政务网）公共数据授权运营平台 共享域 授权 开放域 数据产品加工产品交付审查 商业系统 交付（互联网） 专线 开放隐私计算接入接入 开放网站 授权运营单位自有系统 社会数据来源系统 安全监管部门系统 公共数据授权加工门户（专线访问） 公共数据产品交互门户（互联网访问） 授权管理系统 数据加工系统 产品交付