趣丸数据架构的演进之路——Data Mesh 的架构实践

DataMesh架构范式实践 趣丸数据架构的演进之路/许汝全 关于我 •软件技术和工商管理MBA双专业 •12年技术架构，8年技术管理经验 •数据架构负责人兼技术委员会委员 目录 回顾历史 理论与实践 Contents 展望未来 回顾历史 1. 2. 3. 数据含义不清晰 数据质量难保障数据引擎能力有限 面临的挑战 DataMesh理论 1. 面向领域的数据所有权 2.数据即产品 3.自助数据基础设施 4.联合计算治理 面向领域的数据所有权 面向领域的数据所有权 要求一 谁生产，谁负责 数据即产品 可发现 安全 可触达 有价值 易理解 可关联 查询 可信赖 本地可 访问 1.明确数据所有者 2.明确数据定义 3.明确数据安全等级 4.制定数据质量方案 5.制定数据隐私方案 数据即产品 数据即产品 要求二 一切以治理平台为准 需求阶段 开发阶段 运维阶段 自助数据基础设施 让技术人员可以轻松、便捷地共享、访问和使用数据，这是数据网格的技术关键 业务 数据开发 探索 分析挖掘 开发 测试发布运行 链路 监控告警迭代 分析师 自助数据基础设施 联合计算治理 ①数据消费者制定数据期望 ②数据生产者制定数据承诺 ③嵌入计算单元实现质量治理 趣丸的新架构 趣丸的新架构 1. 2. 3. 数据含义不清晰 数据质量难保障数据引擎能力有限 总结和展望 总结和展望 1. 2. 3. 数据含义不清晰 数据质量难保障数据引擎能力有限 要求： 一．谁生产，谁负责 二．一切以治理平台为准 工具： 三．数据平台 四．数据治理平台 总结和展望 创新共赢 数据资产 能力资产 兴趣创造价值 现场交流 1.理念如何深入一线 2.传统数仓和DataMesh的适配 3.虚拟入湖隐藏着跨集群数据加载的IO压力