数据洪流中的智能航舵：Oceanus流式湖仓探索，弹性降本

数据洪流中的智能航舵 ——Oceanus流式湖仓探索，弹性降本方案 主讲人：李哲 业务痛点和挑战 Oceanus，抓住数据转瞬即逝的价值。 ——实时计算平台，适用于对时效性要求高的实时计算场景，如实时报表、实时推荐、实时数仓等。 近年来，随着数字化的加速发展，企业对数据的实时处理和分析需求日益迫切。从电商平台的个性化推荐，到金融机构的实时风 控，再到工业企业的设备预测性维护，实时数据已经成为驱动业务创新、提升竞争力的核心要素。 然而，传统的批处理方式往往存在时效性差、数据孤岛、难以扩展等问题，无法满足现代企业对实时洞察的迫切需求。 流计算Oceanus产品概述 产品概述 流计算Oceanus是大数据产品生态体系的实时化分析利器，是基于ApacheFlink构建的具备一站开发、无缝连接、亚 秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算Oceanus以实现企业数据价值最大化为目标，加速企业实时化数字化的建设进程。 您可以使用“流计算Oceanus”实现各种实时场景，如实时推荐、实时风控、实时数仓、实时大屏等。 目录 010203 湖仓场景现状和挑战流式湖仓方案架构介绍流式湖仓方案优势 04 流式湖仓应用场景 05 实时业务成本挑战 06 新型弹性降本方案 01湖仓场景现状和挑战 湖仓场景现状和挑战 传统的Lambda 客户端 架构的不足 DataSource BatchLayer ServingLayer 灵活性低 ODSDWDDWS 成本高 Kafka Kafka Kafka Update场景支持不足 StreamingLayer StateState 02流式湖仓架构和介绍 ODS DWD DWS compaction 全量计算 BatthRead(lcebergv2兼容) StreamingWrite LSM Streaming lceberg compaction 增量计算 StreamingRead DataSource 湖仓场景架构和介绍 StreamingIceberg 腾讯云流计算oceanus流式湖仓 StreamingIceberg是腾讯自研的基于Iceberg生态的流 式湖仓解决方案。它底层基于LSMTree存储引擎进行文 件的管理，从而可以高效的支持主键更新的场景。 支持对单行数据的部分列进行更新，可以高效的实现实时表打宽等需求。 Meta/Data/Changelog 存储格式数据存储 在数据更新的过程中，可以产生反映数据变更的完整changlog记录，从而允许下游的Flink作业继续进行增量的处理来生成下一层的数据。 03流式湖仓和优势 流式湖仓优势 统一存储，简化架构 打破数据孤岛：StreamingIceberg打破了传统Lambda架构中数据存储的壁垒，避免了数据重复存储和计算逻辑的重复开发。 简化运维：通过统一的数据存储和计算引擎，简化了系统的运维管理 灵活的数据访问 实时处理能力强 生成完整的changelog，使得Flink等流处理引擎能够对数据进行增量处理 基于LSMTree存储引擎，支持高效的主键更新和部分列更新 兼容Iceberg生态：StreamingIceberg与Iceberg生态完全兼容，用户可以无缝迁移现有的Iceberg查询作业。 支持多种查询引擎：支持 SparkSQL、Trino/Presto等多种查询引擎，满足不同用户的查询需求。 成本低 性能优异 对大表的数据提交流程进行了优化，提高了数据写入速度。 采用高效的压缩编码格式和分区策略，减少存储空间，提高查询性能。 避免重复存储：传统的Lambda架构中，离线和实时数据往往需要分别存储，导致数据冗余。StreamingIceberg通过统一的存 储层，避免了这种冗余，降低了存储成本。 04流式湖仓实践 流式湖仓适用行业及场景 游戏出行教育电商 实时游戏数据分析场景 实时出行数据分析场景实时课程直播数据分析场景实时用户画像推荐场景、实时数据大 盘场景 流式湖仓实践效果 电商行业实时订单交易数据分析场景 自动完成小文件合并等治理操作， 保证了查询的性能。 Tchouse-DDLC/EMR ODS层的数据，基于StreamingIceberg生成changelog的能力，进行流式数据聚合。 对于流式湖仓中的每一层，都可以通过Doris关联外表的方式进行OLAP分析，或者通过DLC/EMR Flink实时写 OLAP分析 订单商品 订单 Spark批写入 商品分类 Flink部分列更新写入 维表关联 批处理 商品详情 业务报表 Flink流式分析 商品聚合 中的Spark/Presto引擎进行离线报表计算，实现数据复用。 业务数据ODS (Streaming-lceberg) DWD (Streaming-lceberg) ADS应用 (TCHouse-D) SQLAPI SELECT WHERE GROUPBY JOIN Top-N INSERT DataStreamAPl map filter kеyBy aggregate join flatMap 流式湖仓实践效果 流式湖仓CDC优化 性能提升10倍以上！ 实现了效率更高的At-least-once数据同步模式，通过目标端的upsert能力来保证端到端的一致性 在存量同步阶段可以带来10倍以上的性能提升。 05实时业务成本挑战 业务在成本方面的挑战 资源成本、运维人力投入、时间投入 010203 困难的资源管理 用户通常需要大量时间给作业调优，实现精细化资源管理 弹性作业会导致资源浪费。 复杂的运维管理 Flink平台的运维管理工作繁琐复杂 ，包括资源监控、作业告警、日志探索、作业事件、性能优化等，需要专业技术人员进行操作和维护。 弹性扩展困难 难以根据业务负载进行弹性扩展，无法满足业务快速增长的需求。 06新型弹性降本方案 首创弹性包年包月方案 成本 弹性包年包月方案(适用于波动类业务) 优势 01支持弹性，灵活度高 传统集群模式：成本高，不灵活 支持弹性伸缩:配合作业扩缩容可以灵活利用资源。 支持混合部署:用户可以在一个集群内使用包年包月资源和按量付费资源。避免多集群管理 包年包月固定部分 弹性部分 成本 ，作业不同集群多副本管理带来麻烦。 02低成本 弹性包年包月集群相比传统计费模式，大约可以 弹性包年包月方案：贴合业务波动，资源性价比高 节省两成的资源成本。 资源弹性扩缩容 集群及平台特性 自研服务器 业内领先的自研服务器技术，降低服务器成本。 自动扩缩容 作业级自动扩缩容，按照资源使用率自动调节作业资源，提高资源利用率。 集群弹性伸缩+作业级自动扩缩容+细粒度资源，降低约20%资源成本 弹性伸缩 资源池弹性伸缩，支持按量付费，非业务峰值时自动释放资源。 细粒度资源 支持细粒度的计算资源规格设置（0.250.5124……）,充分利用cpu资源。 支持弹性包年包月集群作业级别自动/自定义调优多规格细粒度资源配置 算子级别资源配置+Flink专家团队作业优化，平均降低约20%~35%资源成本 专家资源及作业优化 算子级别资源配置 支持单个算子的CPU、内存、并行度、状态时间等配置，支持SLOT配置 专家作业优化 Flink专家团队优化，提供代码优化和资源层面的优化。 0成本运维，大幅节省运维成本 70+监控指标，可告警 异常事件展示，便捷定位问题和告警 日志查看，日志检索 异常关键字日志诊断 一站式开发运维 0成本运维 运行时监控 指标监控：70+项指标，全方位监控 事件监控：作业异常事件及解决方案 智能告警 指标告警：70+项指标告警，支持AI动态阈值告警 事件告警：支持根据异常事件告警 异常诊断 一键快捷诊断 黑窗诊断 日志 支持实例、时间、关键字检索 快捷回滚 支持快照管理，轻松从快照恢复作业 新一代流式湖仓弹性降本超30% 流式湖仓 统一存储，简化架构 实时处理能力强灵活的数据访问 性能优异，成本低 弹性包年包月集群 首创弹性包年包月集群 集群及作业自动扩缩容 完善的运维管理，降低运维成本 THANKS