1-3 赵国祥 - 抖音集团大数据血缘演进与应用

DAMS 中国数据智能管理峰会 抖音集团大数据血缘演进与应用 演讲人：赵国样 抖音数据资产管理平台 |抖音集团血缘整体介绍 CONTENTS 抖音集团血缘系统架构抖音集团血缘应用场景 ｜未来展望 DAMS中国教密配范管理峰备 抖音集团血缘整体介绍 DAS中国款击智管理峰者 整体概览 构建全覆盖，精细化的全链路血练，以开放能力赠能业务 亿级十亿级亿级亿级 实体基量 DAMS中国教量服好督理锋会 建设背景 元费站，士a山a，有过注单光的单光，现升了有总实的片息，其实联时为单实实体求单实口带数据文体，大款活添城元款这方内，款这3存活出被拍为配消实体行的，只留单一10相实体属性 血缘整体链路 数运采集血带理点山量 时数止正生产立块效据应用立产境 血端放度行收口停 血缘模型抽象 数弱血娠尚单的白象为点,和边。就比解决肝自问题码? iartiststh限合口修学的模型设计 ia DAMS中国教密配际管理峰合 血缘衡量指标 血诱质量分92 血综覆盖率：任务成功解析数量任务接入效量 血端准确率：（任务成功解折效量一异范解折效量）任务接入数量 血综完情率：定格任务效量，任务接入效量 11！DAMS中国教运智管理培会 血缘整体生态体系 开院 ★从生ETL实时生产ETL 抖音集团血缘系统架构 DAS中国配管 血缘系统建设挑战 @全面精准的血缘 1.如何精准化解析细粒度血缘 2.如何覆孟非结构化数据源 3.如何跨不同Region的机房血络 4.如何覆盖调用较大的应用端调用血络 DAS中国直管配旺管理峰务 血缘系统解决方案架构 平台23I±格2 +2 h球平台 noell ■精准化轻析 fatales 平台■贝活分析 DAMS中国政出配际管理督合 统一解析服务 基于Antir+Caicite的统一SQL解析器 at.1r 潮解打方点 Coloit-C. DAMS中国教范配医量理峰务 血综接入服务一生产血等 统一Schena，将计算任务代码白盒化，实现任务内的算子级血续 工注A7:*+国 血缘接入服务一跨Region血缘 消除不同Region之间的血缘断举问题，打通全Reion山络 nmurtararit:A区原立卧区,减立综 tablacbth c.nt(1)s frr ±l:ba1.±:1.th1 thereCatalogCFicl) Ireaupbyid. DA/MS中国密E好管理峰会 血缘接入服务一应用血统 物理 连通数据产品应用木端与大效据之问的血缘，真正实现全生站止练 业务产品 拮建势产品 Onerwicaetig F 方制产品 STAT: PMFP AF1 Hed ■日志量大？日志不准孩：果样，法色 DAMS中国款密配好管理蜂名 抖音集团血缘应用场景 血缘应用整体介绍 发挥数据血缘在数帮全路价值，助力于公司降本提致 改据资产 ATEROR:ST 及变安全 CEREH DAMS中国政出智好管理锋会 数据开发场景的应用 孕标文更的影南面识估01快流查看效据计算口得02实时开发任务慢放03 KAT 04上激数据安化及时厚知05数据损型重构高效切模06 DA 数据治理场景的应用 数据泊理核心目标 质量，成本，安全 1 100+100=10 50+50 1100%60: 6 400 00+150+100 在防成本+认算既术，盗件计算链择既术 DAMS中国教产好管理峰会 未来展望04 数据血缘未来规划 标准化效率 择立设产义，接入全位利用辛学路立综数揭，提 社标注化升投取，置括生产效率 自开放化领盖+价值质量 五于标化的证秀，开利用全注随止举效恶，提 精细化安全日 一专构泽精组化的立 利用全随请血等款，赋能安全合划荣路 DAMS中国教管配际管理锋会 DAMS 中国数据智能管理峰会 TASAIHAWAGENEWTSUNMI THANKYOU!