Apache Doris在正泰集团数据中台的应用实践

orisSummit Asia2024 mit Asia2024 DorisSummit A DorisSummit Asia202 DorisSummit Asia2024 DorisSummit 正泰集团数据中台基于ApacheDoris的应用实践 Asia2024 DorisSummit Asia2024 许继良 技术中心大数据架构师 DorisSummit 目录01 02 背景介绍数仓架构 orisSummit Asia2024 Asia2024 mit Asia2024 DorisSummit Asia2024 DorisSummit A DorisSummit DorisSummit Asia202 03数据中台基于Doris应用 Asia2024 04未来规划 orisSummit Asia2024 mit Asia2024 DorisSummit A DorisSummit Asia202 DorisSummit Asia2024 DorisSummit 01 Asia2024 DorisSummit Asia2024 背景介绍 Asia2024 DorisSummit 集团业态分布 智能电器 DorisSummit Asia2024 DorisSummit 低压电器、仪器仪表、智能家居等 新能源 光伏电站、户用光伏电站、电源等 orisSummit mit A Asia202 Asia2024 DorisSummit Asia2024 智能电气其他 Asia2024 DorisSummit 输配电、电线电缆、集成配电等智慧农业、电商、汽车科技等 Asia2024 DorisSummit 发展历程 DorisSummit Asia2024 DorisSummit 2020之前20212024 各种方案进行数仓建设(SAPBW、SQLServer、GP、Hive等) 自研数据中台，融合各类数据源 升级Doris2.0版本，数据中台全面适配Doris特性 Asia2024 DorisSummit 基于Hadoop生态，建设以开源框架为核心的数据仓库 基于Doris1.0版本，重构数据仓库，并完成迁移 orisSummit mit A Asia2024 Asia202 Asia2024 DorisSummit 20202023 orisSummit Asia2024 DorisSummit Asia2024 mit Asia2024 DorisSummit Asia2024 DorisSummit A DorisSummit Asia2024 DorisSummit Asia202 数据中台-能力全景 orisSummit Asia2024 DorisSummit Asia2024 mit Asia2024 DorisSummit Asia2024 DorisSummit A DorisSummit Asia2024 DorisSummit Asia202 数据中台-零代码开发实现 orisSummit Asia2024 DorisSummit A Asia202 IoT平台-数据驱动的零/低代码解决方案 DorisSummit Asia2024 DorisSummit 平台是一款数据驱动的零/低代码开发平台，通过物联网平台、组态平台、场景应用 等核心功能，实现数据从接 Asia2024 入、储存、清洗、分析、预测、呈现的全过程的处理能 mit Asia2024 DorisSummit DorisSummit Asia2024 力，为智慧工厂、智慧园区、智能电站、智慧楼宇、智能消防、智慧城市等行业，提供IoT应用领域完整数智化解决方案。 orisSummit Asia2024 mit DorisSummit A Asia202 IoT平台-零/低代码组态平台 DorisSummit Asia2024 DorisSummit 结合用户的深度业务逻辑与三维可视化技术，平台提供模型创建、场景设计、组态配置的全流程方案，通过数据挖掘和IoT技术为数据赋能，驱动“智能+”在各个细分领域的渗透。 Asia2024 DorisSummit Asia2024 光储充一体化建筑环境检测园区能耗检测水务设备管控智慧楼宇控制 Asia2024 DorisSummit 建筑智能照明智能安全用电工厂智造一体化工厂车间看板园区配电监测 orisSummit Asia2024 mit Asia2024 DorisSummit A DorisSummit Asia202 DorisSummit Asia2024 DorisSummit 02 Asia2024 DorisSummit Asia2024 架构演进 Asia2024 DorisSummit 数仓架构升级 基于Hadoop生态架构图基于ApacheDoris的架构图 DorisSummit RDBMSNoSQL 数据应用 DorisRDBMS Asia2024 数据应用 NoSQL Asia2024 HBase HiveImpalaClickHouseKafka DorisKafka orisSummit A DorisSummit Asia202 DorisSummit Asia2024 数据仓库数据仓库 mit Asia2024 DorisSummit 数据源SapMySQLSqlServerESOracleODataWebService... orisSummit Asia2024 DorisSummit Asia2024 mit Asia2024 DorisSummit Asia2024 DorisSummit A DorisSummit Asia2024 DorisSummit Asia202 IoT平台场景 Asia2024 DorisSummit 平台集成 IoT平台数据中台 orisSummit mit A Asia202 HTTPTCPMQTTMySQL Asia2024 PostgreSQLClickHouseInfluxDBTDEengineQuestDBIoTDB OpenTSDBRedisMongoDBElasticSearchHadoop …… Kafka ES DorisSummit Asia2024 TFS DorisSummit （自研时序数据库引擎） Doris DorisSummit 通过Doris存储全量IoT Asia2024 BI数据，进行准实时数据修正、分析，通过分区、倒排索引、 算法优化 Asia2024 DorisSummit ES orisSummit Asia2024 mit Asia2024 DorisSummit A DorisSummit Asia202 DorisSummit Asia2024 DorisSummit 03 Asia2024 DorisSummit Asia2024 数据中台基于Doris应用 Asia2024 DorisSummit 权限控制 多租户多项目需求场景 租户级别的能力由租户角色进行控制 DorisSummit 提供以项目为单位管理资源，实现清晰合理的权限管理划分粒度 数据表权限控制 提供项目角色和表级别的权限控制，实现数据安全隔离 提供读、写、修改、删除四种权限粒度、实现按需控制 项目 Asia2024 项目角色项目用户 项目角色项目用户 租户 项目 DorisSummit 项目角色项目用户 Asia2024 项目角色项目用户 Asia2024 DorisSummit Kerberos orisSummit mit A Asia202 Asia2024 DorisSummit Doris orisSummit DorisSummit Asia2024 DorisSummit A Asia202 数据模型 Asia2024 DorisSummit Asia2024 Asia2024 DorisSummit 表属性配置字段配置 mit Asia2024 DorisSummit 逆向导入Doris视图模型 orisSummit Asia2024 Asia2024 mit DorisSummit A Asia202 流批一体 DorisSummit Asia2024 DorisSummit 选择数据源选择CDC表创建数据模型启动实时作业开启监控 Asia2024 DorisSummit DorisSummit Asia2024 配置页面作业监控表状态监控 orisSummit Asia2024 mit Asia2024 DorisSummit A DorisSummit Asia202 内存资源消耗对比 Asia2024 DorisSummit DorisSummit Asia2024 Asia2024 DorisSummit 70 6050403020 10 0 WMSMESOMS优化前优化后 利用DoisRoutineLoad大大减少资源内存资源消耗，表越多节省资源越大 Asia2024 DorisSummit 日志迁移 DorisSummit 12014 12 100 10 80 8 Asia2024 60 6 Asia2024 将日志存入从ES迁移至Doris，减少中间件，精简架构，节省资源70%。通过增加倒排索引，提升日志检索速度10倍以上。 DorisSummit 40 4 Asia2024 20 2 0 存储空间 0 查询速度 orisSummit mit Asia2024 A DorisSummit DorisSummit Asia202 ESDoris有倒排索引无倒排索引 orisSummit Asia2024 mit Asia2024 DorisSummit A DorisSummit Asia202 DorisSummit Asia2024 DorisSummit 04 Asia2024 DorisSummit Asia2024 未来规划 Asia2024 DorisSummit 未来规划 orisSummit Asia2024 DorisSummit mit Asia2024 DorisSummit Asia2024 A DorisSummit Asia2024 DorisSummit Asia202 架构升级 数据湖扩展 大模型集成 orisSummit Asia2024 mit Asia2024 DorisSummit A DorisSummit Asia2024 Asia202 Asia2024 DorisSummit DorisSummit Asia2024 DorisSummit ThanksforWatching！