1-2 基于 Apache Doris 构建实时统一的现代数据分析平台

当前数据分析栈的现状与挑战

• 数据栈：包含数据湖应用系统、ERPs、Oracle、salesforce、Logs Files、Object Storages、第三方数据API、批数据处理系统、Spark/MR、数据仓库、OLAP系统、报表工具、用户行为分析、AB测试平台、数据同步工具等。
• 架构演进：从2013年至2020年，数据分析架构趋向统一，不再为特定场景单独引入组件，追求多组件融合。结合云基础设施，提升数据分析效率和资源管理的高效性，追求更高的性价比。

现代数据分析需求

• 提升查询效率：从过去的报表查询需要几十分钟到现在的秒级甚至毫秒级响应。
• 实时数据的重要性：在企业业务精细化运营中不可替代。
• 业务趋势与系统建设滞后：用户希望快速看到数据应用效果，避免冗长的需求交付周期。
• 数据分析的普及：企业中的任何人都可以自由访问所需数据并进行决策。

基于 Apache Doris 构建实时统一的数据底座

• Apache Doris：基于MPP架构的高性能实时分析型数据库，支持亚秒级响应时间，适用于高并发点查询和复杂分析场景。
• 应用场景：多维报表、即席查询、用户画像、实时大屏、日志分析、数据湖查询加速等。
• 用户群体：广泛应用于互联网、金融、能源、制造、电信等行业，特别是在中国市值或估值排名前50的互联网公司中有超过80%的企业长期使用Apache Doris。
• 典型应用场景：
  • 互联网用户增长分析平台：通过用户行为数据进行增长分析，支持即席分析和多维报表。
  • 企业增长分析平台：通过单一系统替换原有架构（Kudu + HDFS + YARN + SparkSQL），简化架构，提高性能2-10倍，每天SQL查询量数万条。
  • 日志检索分析：替换Elasticsearch，提供高效的日志检索分析。

Apache Doris 最新特性解读

• 主键模型优化：新模型基于主键索引和删除位图，查询性能提升10倍以上。
• 轻量级Schema变更：支持毫秒级更新，结合Flink CDC实现实时DDL同步。
• 多Catalog支持：自动同步所有Hive表信息到Doris，支持与Iceberg、Hudi等数据湖引擎的联邦分析。
• 冷热数据分离：降低存储成本70%，支持Rowset级别的冷热数据分离。
• 新MemTracker：引入TCMalloc Hook，提供进程级、查询级和算子级的内存统计与控制。
• 其他重要新功能：支持Array类型、New Decimal、New Date/Datetime、Java UDF等，发布时间为2022年10月。

关于SelectDB

• 公司介绍：成立于2022年1月，总部位于北京，设有多个研发中心和分公司，获得IDG资本、红杉中国的投资。
• 产品：开源数据仓库技术创新，提供云端数据仓库商业服务。
• 联系方式：公司邮箱：support@selectdb.com，官网：www.selectdb.com，GitHub：https://github.com/apache/doris