阿里云 EMR StarRocks 引擎产品化实践

演讲人：李咸海-阿里云-研发工程师 •EMRStarRocks简介 •可观测性 •增量计算 •总结 EMR整体架构 开发工具 EMRStarRocks 产品形态 半托管服务 SRONECSSRONACK 全托管服务 •EMRStarRocks简介 •可观测性 •增量计算 •总结 可观测性 大数据的可观测性：定义：通过指标采集，元数据采集等技术获取到系统的洞察数据，而不是简单的指标罗列。 价值：•资源分析：更合理的资源利用和更健康的集群使用 •分析、根因分析，快速定位问题•问题提示和异常提醒，减轻开发与运维人员的工作量，提高效率 可观测性 可观测性：内存管理 常见问题： Mem usage has exceed the limit of single query. 物理内存限制Mem usage has exceed the limit of BE. BeCrash 可观测性：导入管理 导入方式： 通过HTTP协议导入本地文件、或通过程序导入数据流。. 从Apache Kafka实时地导入数据流。. 从HDFS或外部云存储系统导入数据。 Insert IntoSparkLoad 导入失败：Error提示，Coredump性能调优：Profile稳定性：SafeMode 可观测性：Compaction管理 可观测性：集群画像 •集群资源：磁盘，CPU，内存•集群进程：•查询：•Tablet管理：库，表，分区FE，BE进程端口探测查询记录慢查询分析 可观测性：集群画像 导入事物：begin，commit，publishPKApply：loadindex，updatePKIndex，genDelVectorTabletRebalanceTask:check，schedule,execute 可观测性 运维经验 集群画像 •EMRStarRocks简介 •可观测性 •增量计算 •总结 增量计算 EMR-SR与Flink推出CTAS&CDAS Starrocks-Connector-Flink-V2 两阶段提交，StarRocks侧提供了Begin、Prepare、Commit等接口，支持将多次数据写入请求作为同一个事务提交，保证了同一事务内数据的一致性 一条SQL语句，完成StarRocks建表、Flink-CDC任务创建、实时同步Schema变更的多项繁杂操作 Exactly-Once语义下，V1等待CheckPoint完成再写入StarRocks，V2分批写入，降低了Flink侧存储数据Buffer的内存消耗，提高了Flink任务的稳定性。 增量计算 Lambda架构实时链路 增量计算 Paimon：ApachePaimon(incubating) is astreaming data lake platform that supports high-speed data ingestion, change data tracking andefficient real-time analytics. 1.PaimonCatalog支持外表查询 2.PaimonChangeLog 增量MV做ETL外表物化视图加速 •EMRStarRocks简介 •可观测性 •增量计算 •总结 总结 1.EMRStarRocks： EMR完整的生态服务半托管服务与全托管两种产品形态湖仓一体 2.可观测性： 尽可能白屏化内存管理，导入管理，Compaction管理集群画像 3.增量计算：结合Binlog能力与Flink和Paimon深度集成 感谢观看