数据治理面临的挑战
- 行业挑战:金融支付行业面临数据合规存储、共享及使用的需求,以及数据安全和风险管理的要求。
- 组织挑战:数据使用依赖性强、敏感度高、合规要求多,数据规模大、成本增长快,数据复用难,存在数据孤岛现象。
数据治理架构设计
- 架构设计:成立数据架构小组,设立数据管理岗位及晋升通道,制定跨BU的数据研发协作机制和流程。
- 治理规则:制定数据架构规范、资产研发管理规范、数据治理管控规则、研发安全生产规范。
- 治理平台:搭建自动化治理工具,如血缘中心、成本预估、治理管控能力等。
数据治理在安全场景实践
- 迁移混部:通过杭州专用集群和深圳混部集群实现资源利用率提升,保障业务稳定性。
- 应用全链路血缘:建立数据依赖及影响评估,优化数据效能,量化成本及价值。
- 存储治理:优化Top100表存储,通过模型优化、重排压缩、存储归档等方式降低成本。
- 计算治理:合并相似计算任务,利用渐进计算和Dynamic Filter优化计算效率。
数据治理的未来思考
- 数据作为生产要素:强调数据的使用、消费及价值创造,推动数字化、智能化和市场化进程。
以上是基于提供的研报内容进行的总结,重点关注了数据治理面临的挑战、架构设计、在安全场景中的实践以及未来的思考。