2-5 字节跳动大数据平台安全与权限治理实践 - 许从余

字节跳动大数据平台安全与权限治理实践

1. 大数据安全体系现状和难点

• 治理原则：保证合规，兼顾效率。在面对政府监管和外部压力时，需处理好灵活筛选、保留和删除数据的需求。
• 主要问题：缺乏灵活的数据筛选、保留和删除功能，未能有效应对外部安全合规的要求。

2. 细粒度权限管控和治理

• 细粒度权限模型：支持多种权限控制模型，包括ID、名称、性别、国家、种族等列级权限控制。
• 新权限模型特性：
  • A: DB
  • B: 表
  • C: 表+种族
  • D: ID+姓名+性别
  • E: 表+性别=男且国家在US或CA
  • F: 国家+年龄+种族且国家在UK或US
• 灵活的权限授予机制：支持数据资源与授权主体灵活组合，自动审批占比超过30%，智能风险判断辅助审批。
• 智能审批：通过风险评分和标签返回审批结果，实现自动化审批和人工审批相结合，提高审批效率。
• 冗余权限治理回收：通过访问和鉴权双重判断，结合白名单和保留豁免机制，减少冗余权限，效果显著。

3. 资产保护能力

• 应用场景：加密方案，适用于大数据挑战中的数据链路长、数据量大、用户多等问题。
• 加密方案介绍：
  • 数据内容加密：应用级高强加密，文件格式透明加密，HDFS加密文件系统，磁盘加密，需满足高数据一致性和高效性能。

4. 数据删除能力

• 删除需求场景：账号删除、滚动删除和其他大数据删除。
• 技术挑战：
  • 传统HDFS数据删除方式覆写文件，系统I/O消耗巨大。
  • 数仓存储在HDFS之上，列存储格式导致行级别删除效率低。
  • 离线表数量庞大，对存储资源、磁盘IO、网络吞吐、计算资源及ETL调度系统构成挑战。
  • 对业务资源的抢占。
• 解决方案：基于Bytelake降低覆写总量15倍，提升格式转换速度10倍，提升覆写速度80%，并通过系统优化提升整体性能。

结语

感谢您的观看。如有任何疑问或需要进一步的帮助，请随时联系我们。