Apache Doris在拉卡拉支付场景下的应用探索

orisSummit Asia2024 mit DorisSummit A Asia202 DorisSummit Asia2024 DorisSummit ApacheDoris在拉卡拉的应用实践 Asia2024 Asia2024 DorisSummit DorisSummit Asia2024 张杰研发中心高级大数据工程师 orisSummit mit A Asia202 Asia2024 DorisSummit 01拉卡拉公司介绍 DorisSummit Asia2024 DorisSummit 目录 02业务背景 Asia2024 DorisSummit Asia2024 03支付应用实践 Asia2024 DorisSummit 04未来规划 orisSummit Asia2024 mit Asia2024 DorisSummit A DorisSummit Asia202 DorisSummit Asia2024 DorisSummit 01 Asia2024 DorisSummit Asia2024 拉卡拉公司介绍 orisSummit Asia2024 mit DorisSummit A Asia202 公司简介 DorisSummit Asia2024 DorisSummit 拉卡拉支付股份有限公司（股票代码300773）成立于2005年，2011年首批获得中国人民银行颁发的支付牌照。公司坚持“商户数字化经营服务商”的定位，实施“推广数字支付、共享数字科技、兑现数据价值”的经营战略，践行“支付为民”，助力数字中国建设，服务实体经济。2020年10月，公司与中国人民银行数字货币研究所签订战略合作协议，成为首批获得数字人民币受理服务许可的支付机构，先行参与数字人民币生态建设。 Asia2024 Asia2024 DorisSummit DorisSummit Asia2024 拉卡拉坚持以科技驱动创新，以创新驱动发展，在银行卡支付、移动支付收单市场构筑起产品、服务和品牌综合优势，受到广大用户青睐。公司坚持与时代同行，当前正以崭新的姿态拥抱数字经济。公司以支付为入口，共建商户数字化服务生态，为商户以及生态合作伙伴提供数字化支付、数字化经营、数字化金融服务，推进商户服务向精细化、精准化、智能化方向迈进。 orisSummit Asia2024 mit Asia2024 DorisSummit A DorisSummit Asia202 DorisSummit Asia2024 DorisSummit 02 Asia2024 DorisSummit Asia2024 业务背景 orisSummit Asia2024 DorisSummit Asia2024 mit Asia2024 DorisSummit Asia2024 DorisSummit A DorisSummit Asia2024 DorisSummit Asia202 平台架构 Asia2024 DorisSummit 问题与挑战 1 报表系统存储的痛点 DorisSummit •Hive计算，Oracle存储 •Oracle扩容复杂 •维保费用高昂 •“去O”需求迫切 交易实时查询的挑战 2 •备库存储周期短 Asia2024 DorisSummit •支持大表多表(跨域跨库)关联 •MySQL分库分表,查询服务实现复杂 •要求低延迟、短耗时 orisSummit Asia2024 mit DorisSummit A Asia202 3标签查询服务的困难 •标签数量多 •标签不断增加，schema变更频繁 •同时支持点查和圈选 Asia2024 •标签分域计算，及时更细，部分列更新 4联机查询技术栈的复杂 Asia2024 •组件多 •架构复杂 •运维成本高 DorisSummit •数据冗余，面临一致性挑战 orisSummit Asia2024 DorisSummit A Asia202 ApacheDoris的优势 支持秒级别实时写入和批量数据更新 支持轻量化表结构修改 DorisSummit 支持实时部分列更新 Asia2024 DorisSummit 基于列式存储和向量化执行 查询性能强悍、支持实时分析 支持点查询、明细查询和聚合查询 Asia2024 DorisSummit 支持多租户管理，资源隔离，丰富的权限管理模型 Asia2024 支持多种存储模型，满足不同业务场景的需求 支持横向扩展 简单易用，兼容MySQL协议 Asia2024 DorisSummit 维护成本低，支持自动容错和故障转移 mit 社区活跃度非常高 orisSummit Asia2024 mit Asia2024 DorisSummit A DorisSummit Asia202 DorisSummit Asia2024 DorisSummit 03 Asia2024 DorisSummit Asia2024 应用实践及问题 Asia2024 DorisSummit 引入与发展历程 DorisSummit 报表系统标签系统对账单系统 Doris-2.0.5 Asia2024 DorisSummit 双集群互备资源组隔离 ... 2023年4月2024年3月2025年2月 Asia2024 DorisSummit Asia2024 实时风控银行合作平台 营销平台 orisSummit mit Asia2024 A DorisSummit Asia202 Doris-1.2.4 实时交易看板 Doris-2.1.x orisSummit Asia2024 DorisSummit Asia2024 mit Asia2024 DorisSummit Asia2024 DorisSummit A DorisSummit Asia2024 DorisSummit Asia202 架构改造——引入Doris orisSummit DorisSummit Asia2024 mit Asia2024 DorisSummit A DorisSummit Asia202 引入Doris总体收益 利用Doris替代ES、HBase、TiDB和Oracle，打造统一的查询引擎。大幅简化技术栈，降低系统复杂性，同时减少数据冗余提升了数据一致性和查询性能。此外，统一的平台能够更好地支持数据分析和业务决策，促进企业在降本增效方面取得显著成效。 Asia2024 DorisSummit Asia2024 52%10倍N倍 Asia2024 DorisSummit 服务器成本查询性能提升开发运维效率 orisSummit Asia2024 mit A Asia202 对账单系统-总体介绍 DorisSummit 为客户提供交易明细查询、报表服务及批量对账文件生成 DorisSummit Asia2024 •报表服务 DorisSummit •夜间跑批生成对账文件并发送 •提供数据订阅服务 •数据存储周期：一年 Asia2024 DorisSummit •日新增数据量：亿级 Asia2024 •日查询次数：百万级 •查询耗时99分位数：2s Asia2024 DorisSummit •数据延时：5s orisSummit Asia2024 mit DorisSummit A Asia202 对账单系统-数据乱序 问题描述 DorisSummit •业务原因写入乱序 Asia2024 DorisSummit •数据补传 •数据片段回放 Asia2024 DorisSummit Asia2024 解决思路 •主键模型 Asia2024 DorisSummit •sequence_column orisSummit mit DorisSummit A DorisSummit Asia2024 Asia202 问题描述 DorisSummit •事实表和事实表关联 •占用资源 •查询耗时长 Asia2024 解决思路 •添加倒排索引 •优化分桶策略 •按表KEY列进行关联 Asia2024 •写时合并成宽表 对账单-大表关联 Asia2024 Asia2024 DorisSummit DorisSummit 耗时变化：200s10s Asia2024 DorisSummit 实时交易看板-实时计算替代预聚合 APP中展示当月每日（含当日）累计交易额 orisSummit Asia2024 DorisSummit Asia2024 A DorisSummit Asia202 预聚合的痛点 •数据重复带来的去重压力 •跨日结算 •退货退款 •调账 Asia2024 •数据周期，一个月 mit •状态恢复困难 实时查询汇总：Doris的天然优势 DorisSummit Asia2024 •主键表自动去重、合并历史状态 •强大的查询性能，实时汇总 DorisSummit •直接查，写入程序无状态 Asia2024 DorisSummit 实时风控场景-Doris替代ES构建高效分析引擎 Doris在实时风控场景中，通过其高效的聚合能力、强大的实时分析性能，优化了风控系统的架构。相比ES，Doris以更高的查询性能和资源利用效率，降低了数据冗余和系统复杂性；依托标准SQL和高扩展性架构，为构建更敏捷、更精准、更经济的实时风控体系提供了全新解决方案。 orisSummit Asia2024 DorisSummit mit DorisSummit Asia2024 A DorisSummit Asia202 •开发复杂度高 •查询耗时长 Asia2024 •不支持Join •兼容MySQL协议 Asia2024 •查询耗时更短 DorisSummit •支持Join Asia2024 DorisSummit 实时风控-交易明细查询性能优化 selectid,c_1,...c_98 fromtrade_table--分区主键表，trade_date日分区 where DorisSummit trade_datebetween‘2024-06-01’and‘2024- 11-30’ andother_condition=’...’orderbytrade_timedesclimit100; selectid,trade_date--UNIQUEKEY fromtrade_table where trade_datebetween‘2024-06-01’and‘2024- Asia2024 DorisSummit 11-30’ andother_condition=’...’orderbytrade_timedesclimit100; orisSummit A Asia202 Asia2024 •返回列多 •orderby语句 •查询范围广，数据量在百亿级别 Asia2024 •条件组合多，但没有必传列 selectid,c_1,...c_98fromtrade_tablewhere DorisSummit Asia2024 id=’’ andtrade_datte=’’; mit DorisSummit 2min12s10s orisSummit Asia2024 mit Asia2024 DorisSummit A DorisSummit Asia202 DorisSummit Asia2024 DorisSummit 04 Asia2024 DorisSummit Asia2024 未来规划 orisSummit Asia2024 Asia2024 mit Asia2024 DorisSummit DorisSummit A DorisSummit Asia2024 Asia202 未来规划 DorisSummit Asia2024 DorisSummit 版本升级新特性应用多集群并存 升级至2.1.x，解