星云零售信贷基于Doris的OLAP演进之路

演讲人：刘建波-腾梭科技-研发总监 •OLAP选型困扰 •Apache Doris实践 •业务场景落地 产品演进 I)、业务架构 1、互联网网贷业务2、助贷+联合贷导流3、纯自营业务 网贷 -> 联合贷 -> 新零售 II)、技术架构 单体应用-> 分布式应用 -> 微服务 OLAP选型困扰 1、生态复杂且门槛高、技术劝退 2、投入产出比极低、成本劝退 1、诉求：需要的不是大数据平台，而是一套高性能的OLAP工具2、原则：数据规模、灵活性、成本可控 演进之路 第一阶段：基于kettle 离线ETL 插件丰富、链路长、难管理 第二阶段：基于trino的统一查询 异构数据源、联邦查询、大内存 简单易用、极速查询、实时统一 Apache Doris实践 1、并发查询加速 2、数仓底座建设 运行架构 业务模型 业务场景及技术方案 1、风控大数据报表平台 2、统一日志存储与分析 3、用户行为日志存储分析 任务编排 XX银行-风控大数据报表平台 1、T+1离线跑批ETL2、分钟级准实时ETL3、Flink CDC实时ETL XX银行-统一日志存储与分析 1、自定义Flume Sink采集2、未使用倒排索引3、基于大文本模糊匹配 XX银行-用户行为日志存储与分析 1、自定义Flume Sink采集2、基于JSONB存储与分析3、存储极致压缩、降本增效 架构收益 取数导数：业务人员或者开发人员，可以进行自定义的导数和纬度数据分析运维成本: 集群节点做进程保活、几乎自运维查询延迟: 简单查询毫秒级,复杂查询秒级响应资源节省: Doris极致压缩，将数据压缩了70%，存储成本降低 后期规划 1、智能数据网关 感谢观看