DataFunSummit2023 - 快手大数据安全治理实践

快手大数据安全治理实践 倪顺快手大数据管理平台负责人 自我介绍 | 倪顺快⼿⼤数据管理平台负责⼈主要负责⼤数据管理平台研发 主要关注数据安全和质量、元数据平台、 ⼤数据资源管理、数据化运营等技术领域 关于快手 注：数据来源快手2022Q4财报 以商品交易总额计 | 愿景 致力于成为全球最痴迷于为客户创造价值的公司 我们的使命是帮助人们发现所需、发挥所长，持续提升每个人独特的幸福感 全民短视频社区 日活用户3.66亿月活用户6.4亿 日均使用时长133.9分钟 关于快手大数据平台 | 使命 提升数据决策效率，利⽤数据助⼒业绩提升 职责 通过⼤数据技术，对公司数据统⼀采集、存储、加⼯和挖掘形成⾼质量全域数据资产，以分析决策产品和服务的⽅式对外提供数据解决⽅案 万级 EB级 PB级 十万级 集群规模总数据量日净增数据量日作业量 | Contents 目录 背景介绍平台建设治理实践成果和规划 •平台定位 •面临的挑战以及建设思路 •发展历程 •系统架构 •关键技术 •数据分类分级 •数据引擎安全 •敏感数据保护 •成果总结 •未来规划 | 01背景介绍 快⼿⼤数据安全平台定位 快⼿⼤数据安全⾯临的挑战快⼿⼤数据安全建设思路 下载导出 | 快手大数据安全平台定位 数据⼊仓 其它 客户端⽇志 服务器⽇志 业务数据库 其它应⽤ 报表系统 数据出仓 职责：为大数据全链路、全生命周期保驾护航，保障数据安全 数据仓库 ODS 离线数据准实时数据 实时数据 ODS实时状态快照准时周期快照 DIM基础维度⾏为维度ETL事实fact聚焦事实fact DW 事务事实fact融合事实fact APP应⽤APP ⼤数据安全 数据应⽤ 数据处理 数据存储 数据传输 数据采集 | 快手大数据安全面临的挑战 系统覆盖度广 ⼤数据计算和存储引擎 数据⽣产类平台 数据分析类平台 性能要求高 需要⽀撑千级⽤户、百万级资源的亿级权限关系，满⾜⼏⼗毫秒级鉴权延时 ⽀持OLAP每天亿级查询，HDFS 百万级QPS 通用性精细化 高可用扩展性 数据精细化管控 ⽀持报表、数据集、指标、维度、库、表、⾏、列、⽂件等多种异构资源的权限控制 对数据的读、写等操作进⾏细粒度权 限控制 满⾜多租户体系的数据隔离和权限管控 业务灵活多变 满⾜多种业务线的权限管控需求 满⾜数据分析类平台灵活多变的业务需求 | 分类 分级 权限不 转移 数据 授权 最小 权限 安全 合规 职责 明确 安全原则 保证安全兼顾效率 效率 安全 建设原则 快手大数据安全建设思路 建设思路 组织 规范 大数据 安全 治理 工具 | 02平台建设 发展历程 系统架构关键技术 | 发展历程 2020-2021 2022-2023 2018 2019 原始阶段 V1.0一站式 V2.0精细化V3.0数据合规 权限模型 RBAC：资源和⾓⾊ PRBAC：资源、资源包、动作、⽤户组 PRBAC(⾏级权限)：⾏级权限、租户数据隔离 PRBAC(⾏列级权限+多模式)：列级权限、精细的管控模式 安全能⼒ 2A能⼒：提供鉴权、申请、主动授权的能⼒（2A安全能⼒） 2A能⼒：申请、审批、授权、清查等⼀站式权限管理能⼒ 4A能⼒：⼤数据统⼀认证、全链路审计 5A能⼒：加解密、脱敏、安全隔离仓 系统覆盖 分析类：报表平台 分析类：报表/分析⼯具/实验等引擎类：HIVE 分析类：报表/分析⼯具/实验等开发类：ETL开发/同步/API服务引擎类：HIVE 分析类：报表/分析⼯具/实验等开发类：ETL开发/同步/API服务引擎类：HIVE/DRUID/CK/KAFKA/HDFS 建设思路 •数据识别 •加密及脱敏 •权限管理 •合规检查 事中安全 •访问控制 •实时告警 •兜底降级 •权限回收 •访问审计 •下载审计 •安全态势 •风险发现 事前安全 事后安全 全域 全能力 全周期 审计认证 | 大数据计算及存储引擎 数据分析平台 数据生产平台 5A安全能力 资产授权 大数据安全 保护 访问控制 | 系统架构 统一化和插件化 统一服务：提供通用的认证、鉴权、查询、审计等服务 统一计算：鉴权和规则计算 统一接入：资源通过元数据总线统一接入 统一存储：提供缓存管理、缓存数据加载及版本管理等 引擎组件插件：满足各个引擎自身特点，比如高QPS、低延时等 系统保障 高可用保障：提供监控告警、降级容错、预案演练、限流等一些列措施，保障系统的 高可用 高性能保障：多级缓存等 应用层 BI系统 数据分析 APP分析 AB分析 数据同步 数据开发 实时开发调度系统 数据架构 统一服务层统一计算层统一存储层 统一接入层 账号同步服务 资源接入服务 缓存管理服务 数据拉取服务 鉴权引擎 规则引擎 系统保障 数据备份 故障预案 降级限流 监控告警 鉴权服务授权服务审计服务查询服务加解密服务 认证服务 OpenAPI+RPC 统一大数据安全Plugin Hive OLAP Hdfs Kafka 插件层接口层 服务层 Hive Hbase Redis MySQL 生产组织管理 秘钥管理中心 组织架构 流程中心 元数据 存储层依赖层 | 关键技术–认证体系 KDC（密钥分发中心） MySQL AS_REP 步骤1：客户端身份认证 AS_REQ TGS_REP 步骤2：获取访问令牌 TGS_REQ VERIFY TOKEN Hadoop客户端 步骤3：携带 令牌访问数据TOKEN Hadoop服务端 HiveServer2 ACCESS Hdfs Namenode 数据节点 ... 权限SDK TokenGrantingServer (TGS,Token授权服务) AuthenticationServer(AS,认证服务) 挑战 轻量级：对现有接入系统入侵最小，对性能和稳定性影响小，原理简单具有良好的可解释性 本地化：能够很好的与快手特有的生产组织管理体系相结合，相辅相成 易衍化：能够很好的满足快手发展需求，尤其是大集群、国际化等 方案 账号类型 类型：个人、项目组、代理账号 表示：使用principal表示 格式：principal_name/type@realm 令牌类型：支持AccessToken、DelegateToken、DegradeToken 关键技术–权限模型 | 快手权限模型：组合RBAC和PBAC的自研的PRBAC权限模型 资源表示 全局唯⼀标识URN 三段式，由公司域、资源域和唯⼀ID构成 PBAC/ABAC模型 RBAC模型 ACL模型 常见的权限模型 鉴权模式1：本地鉴权 DSC 大数据引擎Server鉴权服务 pollpolicy authorize DSC Plugin 关键技术–统一鉴权 | 鉴权核心架构 鉴权全景图 鉴权服务 鉴权模式2：远程鉴权 大数据引擎 DSC Server鉴权服务 authorize DSC Plugin AuthEngine：鉴权引擎，负责鉴权模型的计算和策略规则的计算 PolicyRefresher：负责策略的增量和全量的拉取 CacheManager：负责鉴权服务本地缓存的管理，包括缓存的读写以及定时持 久化到本地磁盘 DataLoader：负责从数据库加载策略相关的数据，并且根据路由策略查询不同的一组从库，做到存储的隔离 | 关键技术–全链路审计日志 大数据安全审计平台 接入 应用 策略管理 风险管理 审计策略配置 异常行为告警 审计策略计算 异常行为溯源 特征支持 计算 存储 CH ES 实时计算 离线计算 函数服务 累计服务 转换 日志标准化 丰富安全元信息 丰富血缘信息 采集 资产操作日志资产访问日志 资产下载日志 数据源 数据分析 数据服务 AB平台 BI分析 指标模型 数据生产 实时同步 离线同步 实时开发 离线开发 数据引擎 Hdfs Kafka Olap Hive 特点 全链路覆盖 统一审计标准 融合血缘信息 实时上报 风险识别告警 | 03治理实践 数据分类分级 数据引擎安全敏感数据保护 | 数据分类分级–背景介绍 公开级 数据分级 内部级机密级 绝密级 数据分类 通用数据 隐私数据 公共传播数据 非公共传播数据 快手数据分类分级标准快手数据分类分级原则 C1 C2 C3 C4 P1 P2 P3 P4 数据升级原则数据降级原则数据衍生原则 数据分类分级–解决方案| 元数据采集 统一采集：全链路资产的元信息统一上报到元数据中心 统一存储：元数据及血缘信息统一存储至图数据库中 字段血缘链路传播 检测算法 规则模板 自动数据识别 血缘链路传播：表/字段血缘继承 检测算法：校验算法Luhn等 mysql存储 读取元数据 数据索 分类法 匹配 存储分 资产信息 规则模板：正则/关键字，内置50+个人敏感信息的识别规则模板 数据源 元数据 采集数据收 集服务 引服务 创建/存储索引 数据识 别引擎 读取文件内容 类结果 mysql存储 分类信息 访问情况 6 2 5 9 1 4 8 3 7 资产大盘分析 资产信息：可以从个人、组织、部门三个视角查看不同级别资产的分布 分类信息：展示资产各个分类的数量 访问情况：高频访问资产的分类分级分布 元数据采集 元数据管理 索引库 自动数据识别 分类分级管理 管理控制台 资产大盘分析 资产管理 运营治理 1.引擎的查询无法定位到真实访问用户，导致推动用户改造困难 2.各使用方平台领域知识复杂，导致沟通协作困难 3.用户需求多样，需要支持灵活多样的灰度和降级策略 安全能力 1.身份认证能力缺失，没有安全审计及溯源能力 2.没有权限控制，用户可查询任意数据，安全风险巨大 3.数据引擎鉴权对平台的性能和稳定性要求高 | 数据引擎安全–问题及挑战 1.组织管理体系不清晰，账号体系未建设 2.资产归属不清晰，无法定义资产的安全管理角色 3.没有多租户的权限管理规范 管理规范 CK HIVE HDFS 安全 平台 DRUID KAFKA 接入五大引擎挑战 | 数据引擎安全–解决方案 MR (HiveOnMR) Spark (HiveOnSpark) Presto (HiveOnPresto) JDBC/Beeline API/Shell HIVE Metastore HiveServ er2 认证 鉴权 权限SDK （DSCPlugin） DSC Resource CollectorServer ResourceMappingServer HDFSClient Router authc DSCPlugin AdminServer HDFS authz NamenodeDSCPlugin Datanode Datanode Datanode 规范 账号体系：提供个人账号、生产账号和代理账号三种类型 管理角色：安全接口人、租户管理员、项目组管理员和权限负责人四种角色 权限隔离：租户之间权限隔离；租户的权限由归属和申请两种获权方式 工具 产品能力：SQL类引擎行列级权限；租户体系的多种管控模式 鉴权模型：HDFS及之上的其它引擎分层独立进行访问控制 安全元信息：具有血缘关系的资产，安全元信息联动 鉴权plugin：通用的鉴权插件，提升鉴 权计算性能 治理 头部平台：头部平台用户进行重点沟通 长尾运营：采用多种运营渠道触达用户 灰度封禁：丰富灵活的封禁策略 | 敏感数据保护–问题及挑战 满足不同国家的法律法规要求，需要分国家进行敏感数据的治理 挑战 需要对敏感数据进行集中管控，便于安全管理和风险预警及响应 敏感数据治理需要上下游链路进行改造，需要考虑改造的成本和效率 成本效率 集中管控 法律