1-5 Apache Doris 在同程数科数仓建设中的实践

同程数科大数据高级工程师 | Apache Doris在同程数科数仓建设中的实践

业务场景

• 企业介绍：同程数科隶属于同程集团，成立于2015年11月，致力于以“数字科技引领旅游产业”，提供包括产业金融服务、消费金融服务、金融科技、数字科技等业务板块，累计服务用户超过千万，覆盖76座城市。
• 业务需求：基于Doris实现看板类、预警类、分析类及财务类等功能。

架构演变

• 架构1.0：

  • 不足：组件过多，维护复杂；数据开发链路长，技术要求高；聚合查询能力不足；离线与实时集群未分离。
  • 优点：快速集成并投入使用，实时采集可视化开发。

• 架构2.0：

  • 选型Doris：丰富的数据接入能力，支持多种数据源，采用MySQL协议，支持MPP并行计算，官方文档齐全。
  • Doris部署架构：独立于Hadoop架构，FE（前端节点）、BE（后端节点）两层结构，运维简便，高可用，可扩展性强。
  • 实时系统架构：包括产业金融、消费金融、风控、数据日志等多类数据接入和处理。
  • 新数仓特点：
    • 数据导入简便：routine load、broker load、insert into三种方式。
    • 良好的数据模型：unique模型、aggregate模型。
    • 使用门槛低，查询效率高：基于MySQL协议，标准SQL查询，使用物化视图。
    • 部署架构简便，运维维护成本低。

收益现状

• 新架构收益：
  • 数据接入：快速构建代码，3-5分钟完成一个接入，老架构需要20-30分钟。
  • 数据开发：使用unique、aggregate模型加速ETL开发。
  • 数据查询：提升查询效率，大表join时内部优化机制。
  • 数据报表：响应速度快，基本在秒级或毫秒级。
  • 环境维护：平台链路清晰，运维成本低。

未来展望

• 规划：
  • 引入Doris Manager进行集群维护和管理。
  • 实现基于Flink CDC的数据接入。
  • 对现有Doris集群进行升级，使用新特性。
  • 强化“指标管理体系”、“数据质量监控体系”。

感谢您的观看。