5 腾讯音乐-StarRocks在腾讯音乐的大规模实践之路

S实ta践r之Ro路cks在腾讯音乐的大规模 曹凤龙 腾讯音乐专家工程师，业务运维中心总监 0 4 01 QQ音乐数据仓库的演进历程 02 StarRocks的存算分离模式在TME的实践 01QQ音乐数据仓库的演进历程 数据仓库的演进史 调研适配全面升级 2018-062021-122023-072024-03 运营&监控 多维度&多场景 冷热&时效精细化&组件化 02 StarRocks的存算分离模式在TME的实践 Server OverlordsCoordinators Mysql Zookeeper DC Query BrokerNodes Kafka MiddleManagers Peon Peon Peon Flink Kafka HistoricalNodes (Hot) HistoricalNodes HDFS(Warm) HistoricalNodes (Cold) 应用场景与数据服务框架 场景一、监控多维查询 查询维度多，数据随机性强，即实时查询 场景二、访问链路拓扑查询 数据时效性高，并发高，查询条件相对固化 场景三、业务日志流水查询 数据时间跨度长，维度多，并发低 相互影响 耗时不稳 维护数据集群的挑战 组件多、维护复杂、排查慢 Historical发生重启，恢复周期长 数据份数多，成本高 页面查询为主、未开放自定义 集群组件升级后的优势 Server OverlordsCoordinators Mysql Zookeeper DC Query BrokerNodes Kafka MiddleManagers Peon Peon Peon Flink Kafka HistoricalNodes (Hot) HistoricalNodes HDFS(Warm) HistoricalNodes (Cold) Server Query DC FE FE FE Kafka Flink CN CN CN Kafka COS 组件少，维护简单，排查快 支持自动冷热分离、恢复周期短 数据份数少，成本降50%+ 支持自定义管理 公有云的数据集群 指标数据 链路数据 日志数据 监控数据 可观测 BI 监控告警 智能分析 北京集群 多维分析 实时查询 决策调度 数据应用 DWS 运营数据 性能数据 DWD 查询代理 转发服务 ODS 权限管理审计日志缓存 MQ FE 上海集群 DWS 计算引擎 MV CN ETL Catalog DWD MQ ODS COS其他存储 ETL任务 38 负责数据同步、清洗等 RoutineLoad 737 主要的数据摄入方式 MV物化视图 15 查询加速 监控集群的调优 基表 masteridmasteripmasterareaslaveidslaveipsalvearea masterbusinessidsalvebusinessidinterfaceidresult retval …. successCount failCountdelayFailSum delaylogicSum 晚高峰每小时 2.8亿条数据 Server DC Query FE FE FE Kafka Flink CN CN CN Kafka COS 存储桶打散 返回码视图 Masteridslaveidretval … successCount failCountdelayFailSumdelaySuccessSumdelaylogicSum 晚高峰270w/h条数据 主被调视图 masterareamasterbusinessidsalveareasalvebusinessid successCount failCountdelayFailSumdelaySuccessSum delaylogicSum 晚高峰 68w/h条数据 表结构分区 接口视图 Masteridslaveidinterfaceid … successCount failCountdelayFailSumdelaySuccessSumdelaylogicSum 晚高峰148w/h条数据 物 化物化视图降维 视 图降 维增CN提速 监控表的Compaction 表由于原始表包含IP、端口、返回码等维度，数据量级比较大，对原始表做高频查询，查询性能并不能达到预期。 StarRocks的物化视图特性后，对非IP的查询过滤，耗时降低至毫秒级 物化视图特性：自动刷新、分区刷新、SchemaChange等 整合 caller_service 分钟 流水 caller_method callee_service 秒级 流水 callee_method 区分上报 gRPC SPP tRPC StarRocks-可观测 可观测替代Prometheus(TSDB) 秒级监控集群升级SR 物化视图查询优化 主流场景与集群大盘指标 服务可观测 多维分析 基础监控 质量平台 QPS&P99 运维平台 CMDB 基础监控 资源 管理 路由管理 模块管理 版本维护 安装升级 服务 管理 启动重启 停止卸载 StarRocks套件的标准化建设 维护一体模式2套，分离模式7套 集群总平均QPS600，峰值1600 数据导入峰值3亿条/min 查询秒级响应占比99% CEPH FE.tar BE/CN.tar FE 模块 FENode FENode FENode BE 模块 BE/CNNode BE/CNNode BE/CNNode 进程存活 一致性检查 资源告警 接入管理 版本管理 TDW/TBDS TDBank实时接入 ideX数据分析 HDFS 持久化数据 US 离线任务 数据来源 Kafka 数据加工 实时计算自研云 Flink FlinkFlink 上海 广州 香港 实时计算公有云 Flink FlinkFlink 上海 广州 北京 TubeMQ D2K DataProxy ElasticSearch StarRocks 结果数据存 储 Kafka DB 存储 元数据 性能数据 监控数据 日志数据 自定义告警 消息Push 启停变更告警历史执行详情 维度周期筛选模型触发算法 数据报表 DashboardGrafanaSupersetMail 基础告警 … core OOM 存储 流媒体 哈勃 微服务 模调 磁盘 内存 流量 CPU 平台拓展 智能分析系统 Monitor CDN 可观测平台 TMELive P2P 统一查询服务 自定义Kafka上报 标准化DC上报（DcAgent） 数据管理的全景图 关注公众号 感谢观看！