星云零售信贷基于Doris的OLAP演进之路

业务架构与技术演进

业务架构经历了从互联网网贷业务、助贷+联合贷导流到纯自营业务，以及从网贷到联合贷再到新零售的演进。技术架构则从单体应用发展到分布式应用，最终转向微服务架构。

OLAP选型困扰

早期面临生态复杂、技术门槛高、投入产出比低等问题。最终确定需求核心为高性能OLAP工具，并遵循数据规模、灵活性、成本可控的原则。

演进之路

• 第一阶段：基于kettle的离线ETL，存在插件丰富但链路长、难管理的问题。
• 第二阶段：基于trino的统一查询，实现异构数据源、联邦查询和大内存支持，具备简单易用、极速查询、实时统一的特点。

Apache Doris实践

• 运行架构：采用分布式架构，支持高并发查询。
• 业务模型：构建数仓底座，支持多种业务场景。

业务场景及技术方案

• 风控大数据报表平台：支持T+1离线跑批ETL、分钟级准实时ETL和Flink CDC实时ETL。
• 统一日志存储与分析：通过自定义Flume Sink采集，未使用倒排索引，基于大文本模糊匹配。
• 用户行为日志存储分析：通过自定义Flume Sink采集，基于JSONB存储与分析，实现存储极致压缩、降本增效。

架构收益

• 取数导数：业务人员或开发人员可进行自定义导数和维度数据分析。
• 运维成本：集群节点进程保活，几乎自运维。
• 查询延迟：简单查询毫秒级，复杂查询秒级响应。
• 资源节省：Doris极致压缩，数据压缩70%，存储成本降低。

后期规划

计划引入智能数据网关。