6 唯品会-StarRocks在电商数据分析场景的实践

S据ta分r析Ro场ck景s在的电实商践数 从2.5到3.X的迭代升级 王新春 唯品会-数据平台 01OLAP在电商场景的发展历程 02StarRocks2.5存算一体加速分析 03StarRocks3.1存算分离优化和实践 04StarRocks湖仓一体增强智能BI分析 05StarRocksNext：统一分析场景 01 OLAP在电商场景的发展历程 Presto/ClickHouse到StarRocks OLAP在电商场景的发展历程 2015年至今 通用数据产品查询和数仓分析 主要工作： 2019年：基于负载的集群调度，用户智能查询路由 2019年：全部容器化，集群智能扩缩容 2022年：Spark和Presto潮汐混部，Presto夜间缩容调度ETL 2020年至今 专有数据产品加速和日志降本 主要工作： 2020年：AB实验场景下Flink百万级/s写入性能优化 2022年：日志场景下替换ES，节约50%以上成本；BulkLoad出仓加速2倍以上 2024年：核心集群多AZ容灾和高可用 2022年至今 指标分析加速和湖仓分析 主要工作： 2023年：部分场景替代Presto，提升5- 10倍查询效率（P85查询小于5s） 2024年：大规模存算分离和统一湖仓分析加速 2024年：Serverless架构，资源动态扩缩容 02 StarRocks2.5存算一体加速分析 提升分析效率5-10倍 StarRocks2.5存算一体加速分析 分析1.0基于PrestoDB+Alluxio，由于引擎能力和资源的有限，在用户体验层面痛点突出 排队时间久 下载数据量少 分析耗时长 分析1.0版 查询时间范围短 StarRocks2.5存算一体加速分析 StarRocks的引入，利用向量化和更好的下推能力，整体分析能力提升了7倍以上 资源利用率在双11、双12活动大促、运营推广、复盘、年末汇算期间长期保持在85%以上 160 主题平均耗时前后对比(单位：秒) 150 流量查询时间范围大幅延伸 120 50 3 15 20 140 120 100 80 60 40 20 只支持查询14天内 的流量数据 分析1.0 支持高频指标和维度 一年以上的整体分析 分析2.0 0 交易主题 流量主题 ☆原始数据超过1000亿！ 交易流量交叉主题 1.0耗时2.0耗时 查询p70低至8秒，p90能始终保持在60秒内 StarRocks2.5存算一体加速分析 数据导入StarRocks的定制化优化，提升查询的稳定性和数据时效 例如：导入数量限制、回刷历史数据时使用批量导入功能、以及是否将任务在空闲时段执行等 03 StarRocks3.1存算分离优化和实践 2倍查询的增长，50%性能提升 存算一体到存算分离 存算一体计算和存储资源的紧耦合，导致独立资源的弹性扩展能力不足 PB级别数据的分析，数仓和StarRocks数据交换成本巨大 极致的性能，最佳查询性能高度的弹性和可扩展性 存算分离优化：视图提升时效性、分析范围和存储利用率 SQLSQLrewrite 自研路由的改写功能灵活定义视图的范围 灵活调配使用内表和外表（Hive+BlockCache加速）的分区比例，弥补了之前仅使用纯内表模式的局限性 存算分离优化：HyperLogLog优化，秒级汇总亿级数据 VeloxHyperLogLogStarRocks 的实现，替换自带的相关函数 二进制兼容由Spark使用Java版HLLUDAF写入Hive的预聚合结果 205.6 207 VeloxC++xxhashAirliftxxhashAirliftmurmurhash 102.6 103 52.2 4-5X性能提升 4.8 20 20.2 25.8 1千万级5千万级1亿级 04 StarRocks湖仓一体增强智能BI分析 满足智能BI分析高并发和低延迟要求 StarRocks湖仓一体增强智能BI分析 智能BI分析的对OLAP的挑战：大量指标的并发查询（长周期30-180天、同环比等） 每个分析需要数十个指标的查询并发查询 StarRocks湖仓一体增强智能BI分析 解决方案：指标全—数据湖仓；扩分析能力——多集群、存储分离 StarRocksNext：统一分析场景 基于StarRocks强大的查询和分析能力，解决分析场景各种业务需求，OneFitsALL实现路径：通过统一的对外接入服务，根据SLA要求自动路由对应的集群 关注公众号 T感hanky谢ou! 观看！