字节跳动数据平台的实践与演进 - 罗旋

字节跳动数据平台的实践与演进

一、业务概况

• 2012-2021年：字节跳动主要产品的上线及日活跃用户数增长情况如下：
  • 2012-2013：今日头条上线，日活超100万
  • 2014-2015：头条号平台上线，头条视频（后升级为西瓜视频）、火山小视频、抖音短视频等上线
  • 2016-2021：抖音日活突破6亿，飞书、懂车帝等产品上线

二、数据平台概述

• 产品解决方案：包括增⻓营销 GMP、A/B实验 DataTester、行为分析 DataFinder、智能洞察 Datawind、用户数据平台 VeCDPSaaS、OLAP引擎 ByteHouse、大数据研发治理套件 DataLeap、云原生开源大数据平台 E-MapReduce、湖仓一体分析服务 LakeHouse Analytics Service（LAS）等。
• 数据引擎：包括风神 (敏捷BI)、TEA (行为洞察分析)、Mirror (用户数据平台)、Gaia (数据门户)、热点宝 (业务数据中心)。

三、发展历程

• 原始阶段（2014年前）：今日头条DAU达千万，A/B测试快速迭代，采用Hive+邮件报表
• 建设阶段（2015-2017）：抖音推出，迅速爆发，平台不断升级，支持亿级DAU产品
• 平台阶段（2018-2019）：多元业务层出不穷，C端持续发展，B端对外赋能
• ToB服务（2020至今）：字节跳动的沉淀，面向外部企业提供整套解决方案

四、面临的主要挑战

• 原始阶段：如何快速验证业务迭代？
• 建设阶段：如何保障数据量膨胀下的时效和质量？
• 平台阶段：如何敏捷支持多元创新业务？
• ToB服务：如何让外部企业有效利用字节跳动的沉淀？

五、关键技术

• OLAP引擎：Kylin、Spark、ClickHouse等
• 数据治理：存储-计算分离、多级资源隔离、实时分析支持

六、案例分享

• A/B测试平台：从2012年开始，逐步演进至支持多种场景的高效解决方案

七、未来方向

• 开放兼容、智能应用

关键数据

• 2021年：日处理数据量达到1500PB
• 2016年：日处理数据量为200TB

企业常见疑问解答

• 没有大体量数据怎么办？：工具同样适用于不同规模的企业。
• 使用复杂工具困难吗？：平台提供了可视化配置和编辑页面元素的功能。
• 业务单一是否需要中台？：中台能够提高效率和灵活性。
• 工具价格高吗？：相比自行开发，使用现成工具更加经济高效。