6 vivo湖仓架构的性能提升之旅

Vivo大数据多维分析场景面临的挑战

vivo大数据平台在即席分析、研效工具平台等方面面临诸多挑战，主要体现在：

• 即席分析：查询耗时长（P50耗时63.77秒），影响用户体验和工作效率；语法兼容弱，社区活跃度低，性能提升方案少。
• 研效工具平台：Presto查询性能慢，内存计算易OOM；数据清洗加工时延高，需要数据分层；实时数据更新和删除流程长，计算逻辑复杂。

StarRocks服务建设落地的技术解决方案

vivo大数据平台引入StarRocks构建湖仓查询加速架构，主要技术方案包括：

• 湖仓查询加速架构：利用StarRocks的高性能多表Join能力、实时更新和删除支持、物化视图进行数据多层ETL清洗和加工，实现湖仓表和内表联邦查询。
• 内表&异步物化视图工作：通过物化视图实现数据分层与加工逻辑，提升开发效率。
• 研发工作：升级StarRocks版本（3.2.5至3.3.5），解决库锁死锁、单事实表刷新、物化改写等问题，引导用户物化视图分区刷新。

引入StarRocks的效果和收益

引入StarRocks后，vivo大数据平台取得显著成效：

• 即席分析：P50响应速度从63.77秒降至22.30秒，效率提升65.06%，预计80%占比下P50耗时将提升4-5倍；查询成功率接近98%。
• 敏捷BI：替换Presto进展25%，月查询成功数25w以上，查询成功率99%以上；覆盖12个业务空间，600+用户，>30s慢查询占比下降至1.32%，P90值小于5s（相比Presto的16s提升75%）。
• 研发工具平台：实现准实时数据可见（约3分钟内），基于Flink&StarRocks双剑合璧实现准实时度量，开发效率提升约50%。

StarRocks在vivo大数据平台的未来规划

未来规划包括：

• Presto集群切换规划：当前25%切换成功，P90值已低于5s；逐步替换广告、AI、DMP等所有Presto集群。
• 敏捷BI规划：持续优化性能，解决用户慢查询问题。
• 其它集群进展：StarRocksOnK8s建设成功。
• 研发工作规划：持续优化StarRocks功能，提升平台性能和稳定性。