Apache Doris助力企业实现数据智能化应用

orisSummit Asia2024 mit Asia2024 DorisSummit A DorisSummit Asia202 DorisSummit Asia2024 DorisSummit ApacheDoris助力企业实现数据智能化应用 Asia2024 DorisSummit Asia2024 赵书贤 启高科技联创&方案架构师 DorisSummit 目录01 02 关于启高科技零售业数据特征 orisSummit Asia2024 Asia2024 mit Asia2024 DorisSummit Asia2024 DorisSummit A DorisSummit DorisSummit Asia202 03基于ApacheDoris+启数道的数据平台 Asia2024 04Q&A orisSummit DorisSummit Asia2024 DorisSummit A Asia202 分享嘉宾–上海启高信息科技有限公司 Asia2024 DorisSummit Asia2024 DorisSummit 赵书贤 Asia2024 联合创始人&方案架构师 mit Asia2024 DorisSummit 超过18年企业大数据BI咨询规划与实施落地经验，为超过百家大中型企业提供大数据BI咨询实施服务，对零售、制造行业有丰富经验，对SAPBW/HANA、大数据各组件、数据开发平台均拥有丰富实践经验。 Asia2024 DorisSummit 启高科技，企业数据领域的持久伙伴与坚强后盾 总部上海虹桥 辐射全国 DorisSummit Asia2024 让数据成为驱动力专注于大数据BI产品与实施服务 1个产品启数道DataOps平台 100+名顾问技术团队规模 2个行业聚焦零售、制造行业 DorisSummit 50+家客户近三年服务的企业 orisSummit mit Asia2024 A DorisSummit Asia2024 Asia202 Asia2024 DorisSummit 服务客户荣誉与资质证书 Asia2024 DorisSummit 启高科技陪跑企业数据价值化全过程 数据价值化方法论 DorisSummit 前期采集与准备整理 分析和挖掘 应用和创新 保障与安全 人才与组织 Asia2024 DorisSummit Asia2024 DorisSummit 明确数据价值化的目标、现状、线路图 建立完善的数据采集和整理机制，确保数据的准确性、完整性和及时性。 运用数据分析和挖掘技术，对数据进行深度挖掘和分析，发掘出潜在价值，并为业务决策提供依据。 将数据应用于不同场景和业务领域，开展数据驱动的业务创新和变革，推动企业发展。 加强数据保障和合规管理，确保数据安全和合法使用，避免因数据泄露等问题带来的风险 通过人才培养和组织变革，建设具备数据思维和能力的团队，推动企业实现从传统到数字化转型 数据战略咨询 数据治理咨询 数据应用规划 数据治理落地 数据平台建设 数据资产管理 指标体系 数字大屏 Asia2024 报表 BI 门店提效 电商提效 DorisSummit 成本监控 …… 预测维修 Asia2024 车间无纸化 车间目视化 质量优化 mit …… 权限管控 数据API 数据脱敏 数据人才培养 数据文化 workshop 启高科技服务内容 orisSummit A Asia202 Asia2024 DorisSummit 深耕行业，专注企业数据深加工，聚焦数据模型 Asia2024 DorisSummit 行业数据模型 DorisSummit 启高行业数据资产模型 客户独特数据模型 客户的数据 客户的数据资产 orisSummit Asia2024 DorisSummit A Asia2024 Asia202 有参考、有验证、 优兼顾企业特点 mit Asia2024 势 门槛要求低、 DorisSummit 快速匹配企业业务流程 项目中就定义最终指标，快速交付 orisSummit DorisSummit Asia2024 Asia2024 DorisSummit A DorisSummit Asia202 纺织服装企业全方位数字化转型，消除牛鞭效应 Asia2024 DorisSummit Asia2024 原料、布匹、面料、半成品商品 mit Asia2024 DorisSummit 牛鞭效应（BullwhipEffect）是指在供应链中，较小的需求变化或波动逐渐放大，从而在上游供应链环节引发更大的波动和不稳定现象。 Asia2024 DorisSummit 服装企业数字化转型过程的困境 DorisSummit Asia2024 DorisSummit 数据量庞大、数据多元且最复杂场景复杂、响应要求高 DRPCRMOMSO2O 渠道多元化商品多样化 ERPWMSSRM Asia2024 DorisSummit Asia2024 经营链路长 POSPLMMES商城 多品牌矩阵柔性快返 Wechat电商平台…… 流量分配DTC orisSummit A Asia202 mit Asia2024 DorisSummit 沉淀多年的信息千变万化的商业模式 Asia2024 DorisSummit 充分利用大数据将供需实时连结在一起，实现全链路拉通 终端需求驱动 DorisSummit 大数据技术掌握终端需求，并以需求为始点进行研产销存全链路经营活动 效率提升 全链路信息互联互通，实现信息的高效传递，避免长鞭效应 协同作业 Asia2024 订单跟踪，实现全环节协同，减少成本降低，提升协同能力 精准定位 DorisSummit 借助大数据AI技术，实现人货场的精准定位 •需求预测、快速迭代、终端与工厂制造端联动，减少了链条中的无用环节，将高质量的流行商品快速交付给了客户； Asia2024 DorisSummit Asia2024 •通过算法从海量数据中挖掘时尚趋势，将数据反馈给庞大的设计和打板团队进行后续生产；数据中台管理库存、生产能力数据，直接连结工厂车间与客户；借助强大的数据和算法支持，实现快速增长 用户偏好与行为 线下门店电商平台 品牌商信息系统 供应链信息系统 服装生产工厂车间 orisSummit A Asia202 mit Asia2024 DorisSummit 全链路数据拉通，实时反馈 Asia2024 DorisSummit 存、算、查询分离的大数据平台，解决复杂零售场景数据应用 POS 计算引擎 ADS 应用层 权限数据 服务API 多维分析 DorisSummit 计算任务计算任务 查询引擎 （Doris） 数据应用 （可视化应用） Asia2024 数字大屏 新零售 Asia2024 ERP xxx FlinkCDC Asia2024 DataX2Kafka 数据管道（实时）/定时任务（离线） DorisSummit ODSDWDM ODSDWDM mit Asia2024 DorisSummit ApacheDoris/SelectDB数据存储 固定大表自助分析移动看板 DorisSummit （业务场景应用） 指标归因 智能补货 orisSummit A Asia202 数据源 启数道大数据管理平台 可视化开发工具 Asia2024 DorisSummit Doris作为企业大数据存储查询引擎的几大亮点 Asia2024 DorisSummit Asia2024 （随机写） 数据写入效率数据查询效率数据更改能力 数据拉取能力 （增量数据流） orisSummit DorisSummit Asia2024 A DorisSummit Asia202 1.支持多种方式的高效写入，尤其是StreamLoad性能非常高 mit 2.单表导入性能，在并发数为1，单次导入数据量达到10MB，导入吞吐量能达到160MB/秒，或者10W行/s。 1.Doris的一些特性，如分区分桶，数据模型，物化视图，优化器等提升查询效率 Asia2024 DorisSummit 2.高并发 1.Doris提供的UniqueKey数据模型，根据key列，修改value列。 1.Doris2.1版本之前，默认使用Merge_on_read机制 2.Doris2.1版本开始，默认使用Merge_on_write机制：在更新数据时，完成所有数据合并的工作，以便提高查询性能 Asia2024 DorisSummit Doris在零售行业数据应用适用场景 Doris是一款分布式查询数据库，在拥有较高的查询性能的同时能够保持数据一致性、并支持Join及标准SQL，简单运维等特性，适合集数据仓库与数据查询于一体的应用场景。 Asia2024 Doris适用场景 逻辑计算•Doris提供同步/异步导入，对所有导入提供原子性保证，通过Label机制保证对应数据最多被导入一次 DorisSummit Asia2024 DorisSummit •Doris可以实现类似财务分摊等强一致性的计算逻辑，支持标准SQL操作 DorisSummit 视图计算•Doris支持视图预计算，可默认以视图方式实现逻辑 Asia2024 •面对变化较频繁的场景，可以通过Doris视图方式实现，不 用重新上数，每次修改代码后可直接查询视图结果，提升响应效率 orisSummit Asia2024 A Asia202 实时计算 •结合视图计算，可以通过Flink将数据进入到Doris，然后在Doris视图中写加工逻辑，以达到实时场景 mit DorisSummit •即：业务数据只有一次接入过程，然后就是视图计算了 Asia2024 DorisSummit 启高科技打造的覆盖全链路的大数据服务平台：启数道 实时接入、调度管控、数据查询加速与可插拔的OLAP引擎架构 统一数据接入、加工、建模、治理及服务发布 与BI可视化、数据产品集成 DorisSummit 架构开放 屏蔽大数据架构复杂性 实施简单 Asia2024 加速数据中台实施部署 高效数据应用 DorisSummit 组件化可拖拽式数据应用 数据源 数据对象 数据建模 数据开发 数据血缘 数据资产 调度管理 任务编排 Asia2024 Asia2024 DataX 数据开发 指标管理 数据标准 元数据 DorisSummit 数据治理 数据API 数据门户 API定义 训练集 Doris 数据标签 API监控 DorisSummit 数据应用 自服务极致易用移动跨屏 智能场景 算法库 Asia2024 大数据平台门槛越来越高实时场景开发代价太大 图形化的便捷的数据功能管理页面是加速实施、降低运维的基础 KPI可视化不是唯一的数据应用 通过API集成业务场景才是数据价值的发现 数据质量 orisSummit A Asia202 mit 13 orisSummit Asia2024 mit Asia2024 DorisSummit A DorisSummit Asia202 DorisSummit Asia2024 DorisSummit ThanksforWatching！ Asia2024 DorisSummit Asia2024 上海启高信息科技有限公司赵书贤15821001961