1-3 赵国祥 - 抖音集团大数据血缘演进与应用

中国数据智能管理峰会 抖音集团大数据血缘演进与应用 演讲人：赵国样 抖音数据资产管理平台 |抖音集团血缘整体介绍 抖音集团血缘系统架构 CONTENTS 抖音集团血缘应用场景 ｜未来展望 抖音集团血缘整体介绍 构建全覆盖，精细化的全链路血练，以开放能力赠能业务 亿级 实体基量 建设背景 数据文体，大款活添城元款这方内，款这3存活出被拍为配消实体行的，只留单一10相实体属性元费站，士a山a，有过注单光的单光，现升了有总实的片息，其实联时为单实实体求单实口带 血缘整体链路 血缘模型抽象 数弱血娠尚单的白象为点,和边。就比解决肝自问题码? iart ists th 血缘衡量指标 血诱质量分92 血综覆盖率：任务成功解析数量任务接入效量 血端准确率：（任务成功解折效量一异范解折效量）任务接入数量 血综完情率：定格任务效量，任务接入效量 血缘整体生态体系 抖音集团血缘系统架构 血缘系统建设挑战 @全面精准的血缘 1.如何精准化解析细粒度血缘 2.如何覆孟非结构化数据源 3.如何跨不同Region的机房血络 4.如何覆盖调用较大的应用端调用血络 血缘系统解决方案架构 平台 ■精准化轻析 +2 h球平台 平台 统一解析服务 基于Antir + Caicite的统一SQL解析器 潮解打方点 血综接入服务一生产血等 统一Schena，将计算任务代码白盒化，实现任务内的算子级血续 血缘接入服务一跨Region血缘 消除不同Region之间的血缘断举问题，打通全Reion山络 tabla cb thnmurt ararit:c.nt (1) sfrr±l:ba1. ±:1. th1thereIreaup byid. 血缘接入服务一应用血统 连通数据产品应用木端与大效据之问的血缘，真正实现全生站止练物理F 抖音集团血缘应用场景 血缘应用整体介绍 发挥数据血缘在数帮全路价值，助力于公司降本提致 改据资产 ATEROR:ST 及变安全 CEREH 数据开发场景的应用 快流查看效据计算口得02 孕标文更的影南面识估01 实时开发任务慢放03 KAT 上激数据安化及时厚知05 数据损型重构高效切模06 04 数据治理场景的应用 数据泊理核心目标 质量，成本，安全 在防成本+ 认算既术，盗件计算链择既术 未来展望 数据血缘未来规划 效率 标准化 择立设产义，接入全位社标注化 利用辛学路立综数揭，提升投取，置括生产效率 开放化 质量 利用全注随止举效恶，提 五于标化的证秀，开 精细化 一专构泽精组化的立 利用全随请血等款，赋能安全合划荣路 DAMS 中国数据智能管理峰会 TASAIHAWAGENEWTSUNMI THANK YOU!