字节DevMind 平台架构设计和技术应用-姜磊

字节跳动DevMind平台架构设计和技术应用

背景介绍

• 建设背景：互联网普及率见顶及疫情导致市场竞争加剧，企业需重视研发效能。
• 业务挑战：缺乏对研发效能的度量，依赖离线ADS表和定制化仪表盘，导致分析过程漫长，业务感知迟钝。
• 发展历程：从2001年敏捷宣言到2019年ADLM概念，逐步形成完整的研发效能度量体系。

技术设计

• 技术挑战：数据可视化能力不足，指标口径不一致，业务需求复杂。
• 平台架构：包括数据源、ETL、数据建模、指标定义、数据消费等多个模块。
• 关键设计：
  • 树形数据模型：适用于组织架构和汇报关系，考虑父子节点的时间关系。
  • 笛卡尔积：用于复杂业务场景的结构化表达。
  • Cube类数据模型：基于事实表和维度表进行多维分析。
  • 即席查询引擎：支持树形结构查询和代数计算模型。
  • UDF框架：提供统一开发框架，支持插件化设计。
  • SQL-Manager：增强数据表达能力和查询性能。

业务应用

• DAG型业务模型：应用研发生命周期的状态流转，通过笛卡尔积展开进行复杂业务建模。
• 树形数据模型：应用于研发业务产出的人均类指标分析。
• Cube类数据模型：支持自助分析，减轻用户对底层模型的感知。
• 用户可感知评分：构建准确的APP品质评分，涵盖体验、物理、流畅度等多个维度。

总结展望

• 技术点概览：涵盖数据中台、模型定义、即席查询引擎、分析算法库等。
• 技术演进：依托ADLM和数据中台，构建完整的研发效能提升体系。

关键数据

• 业务覆盖：全团队、全场景覆盖。
• 数据量：每日业务数据量超过100TB。
• 效能提升：提升研发人员工作效率，减少缺陷，加快项目进度。