星云零售信贷基于Doris的OLAP演进之路

演讲人：刘建波-腾梭科技-研发总监 DataFunSummit2023 •数据需求的产生 •OLAP选型困扰 •ApacheDoris实践 •业务场景落地 产品演进 1、互联网网贷业务 2、助贷+联合贷导流 3、纯自营业务 I)、业务架构 网贷->联合贷->新零售 II)、技术架构 单体应用->分布式应用->微服务 OLAP选型困扰 1、生态复杂且门槛高、技术劝退 2、投入产�比极低、成本劝退 1、诉求：需要的不是大数据平台，而是一套高性能的OLAP工具 2、原则：数据规模、灵活性、成本可控 演进之路 第一阶段：基于kettle离线ETL 插件丰富、链路长、难管理 第二阶段：基于trino的统一查询 异构数据源、联邦查询、大内存 第三阶段：基于doris的存储分析 简单易用、极速查询、实时统一 ApacheDoris实践 1、并发查询加速 2、数仓底座建设 运行架构 业务模型 业务场景及技术方案 1、风控大数据报表平台 2、统一日志存储与分析 3、用户行为日志存储分析 任务编排 XX银行-风控大数据报表平台 1、T+1离线跑批ETL 2、分钟级准实时ETL 3、FlinkCDC实时ETL XX银行-统一日志存储与分析 1、自定义FlumeSink采集2、未使用倒排索引 3、基于大文本模糊匹配 XX银行-用户行为日志存储与分析 1、自定义FlumeSink采集2、基于JSONB存储与分析 3、存储极致压缩、降本增效 架构收益 取数导数：业务人员或者开发人员，可以进行自定义的导数和纬度数据分析运维成本:集群节点做进程保活、几乎自运维 查询延迟:简单查询毫秒级,复杂查询秒级响应 资源节省:Doris极致压缩，将数据压缩了70%，存储成本降低 后期规划 1、智能数据网关 2、统一数据归档 DataFunSummit2023 感谢观看