光大银行准实时数据平台架构演进

光大银行准实时数据平台架构演进 演讲人：张旭 个人介绍 光大银行准实时数据平台技术负责人，专注于 分布式系统内核研发。 在消息中间件&OLAP领域有较丰富经验。 开源爱好者，ApacheRocketMQcommitter， Prometheuscontributorhttps://github.com/maixiaohai 目录 •准实时数据平台 •架构演进实践 •实时数据湖架构 •数据服务总线实践 •未来规划 •特点•问题 Kafka存储分层 （贴源、标准、发布） 内置了很多业务的数据处理逻辑 （Spark、Flink、MR） 实时数据平台&计算资源平台 维护了过多的业务处理逻辑（需要了解不同业务的逻辑，无法在平台建设上投入更多的精力） 平台组件过多，涵盖了数据的导入、消息存储、计算、调度等方面，导致平台定位不够清晰 •Schema解耦 •SDK封装 •可观测性&可视化 •客户端： a.配置多个实例地址，缓存 schema关系 •服务端： a.独立部署 b.多实例，主从结构，一写多读 c.schema数据缓存 d.跨域集群部署及容灾方案 •安全&权限 a.插件实现的简单RBAC鉴权 b.auditlog •运维 a.kerberos整合 b.监控打通 提供统一的客户端入口 •减少不同客户端版本带来的性能差异和稳定性问题 •方便升级管理、灾备切换等 •更好地规范客户端行为，增强对客户端的数据面控制 •Kafka服务端&客户端监控 •控制台开发：schema和消费schema的可视化管理 •更清晰的平台边界 •覆盖分钟级实时贴源数据场景 •数据服务总线生态建设 •准实时数据平台 •架构演进实践 •实时数据湖架构 •数据服务总线实践 •未来规划 •实时数据湖•数据服务总线 分钟级贴源场景落地 探索湖仓一体、批流一体 SDK开发：灾备切换FlinkConnector二次开发信创集群建设 管理控制台运维特性开发 THANKYOU!