4-2 网易数帆在 DataOps 上的实践_opt

网易数帆在DATAOPS上的实践

数据平台发展历程

• 2006年：分布式数据库、分布式文件系统、分布式搜索引擎支撑网易互联网2.0时代
• 2009年：基于Hadoop进行数据分析及运维
• 2014年：大数据平台“猛犸”、“网易有数”上线，加速大数据规模化应用
• 2017年：网易大数据对外商业化
• 2018年：发布“全链路数据中台”解决方案，支持网易严选、考拉、音乐、新闻等业务的数据中台构建
• 2020年：提出“数据生产力”理念，倡导“人人用数据、实时用数据”
• 2022年：发布数据治理和数据开发一体化“数据治理2.0”解决方案

DataOps 实践

• 价值：开发、测试、运维一体化；数据中台产品体系；持续集成和敏捷交付
• 产品：有数DataOps、DataFusion、DataProduct
• 关键技术：容器、K8s、微服务、GitFlow
• 主要功能：数据资产中心、数据集成、数据开发、数据测试、任务运维、数据标准、数据元数据管理、数据质量稽核、数据脱敏、数据安全、数据门户、BI可视化报表、智能决策驾驶舱

组织实体概念

• 租户：资源统一管理，隔离基本单元
• 集群：资源组合，支持多Spark版本、多HS、多HDFS
• 项目组：共享公共层数据，管理人、角色、权限和任务

权限管理

• 统一账号权限：组织实体在账号中得到统一映射
• 权限模型：账号同步、权限设置、权限同步、HDFS鉴权、Hive鉴权、元数据变更通知、级联授权、动态脱敏、静态脱敏、自定义脱敏功能

元数据中心

• 关键元信息抽取、关联血缘、数据源catalog管理、元数据治理、自动Catalog构建

数据传输

• 支持Flink CDC、Spark Distcp、多模态多场景自动映射、动态替换

调度系统

• 多模式流程控制、多场景认证、便捷flow调度、实例运维、智能诊断、基线预警、流程协作

发布中心

• 实时开发IDE、自动DDL生成、CodeReview、本地Debug引擎、任务模板、日志采集管理

实践效果

• 知识沉淀和分享：《从数据中台到数据生产力:网易数据建设实践》出版中
• 开源贡献：华泰证券、华福证券、华夏银行等多家企业采用

主要企业用户

• 华泰证券、华福证券、华夏银行、马上消费、江苏农信、好未来、海亮教育、南方日报、中山七院、记忆科技、昆钢、温氏集团、九州通、福建电力、杭州银行、绿瘦中国、能建投、南钢、浙交规、浙江移动、浙商银行、东北证券、广发证券、民生证券、杭州联合银行、泰康资产、龙湖地产、美素佳儿、比心、宁钢、中国电信、八维通、地上铁