罗海伟：基于OceanBase阿里云DataWorks构建一站式数据集成、开发和数据服务

基于OceanBase阿里云DataWorks 构建一站式数据集成、开发和数据服务 罗海伟 阿里云高级技术专家 Contents目录 01DataWorks介绍 介绍阿里云DataWorks历史发展、模块架构等 02DataWorksOceanBase数据集成原理 介绍DataWorks针对OceanBase的数据集成原理，以及后续规划 03在DataWorks中做OceanBase数据集成、开发示例 介绍在DataWorks中，基于OceanBase做数据集成、开发、服务案例演示 DataWorks与数万家企业数字化转型一路同行 DataWorks是一站式智能化数据开发与治理平台，支持MaxCompute/Hologres/AnalyticDB/E-Mapreduce/CDH/CDP等大数据引擎，为企业构建现代数据仓库、数据湖以及湖仓融合数据架构提供数据平台产品解决方案。 作为阿里巴巴大数据平台建设者，DataWorks从2009年起不断沉淀阿里巴巴大数据建设方法论并产品化，同时与数万家政务/金融/零售/互联网/能源/制造等阿里云客户携手，助力企业数字化升级。 DataWorks产品模块架构 DataWorks数据集成平台包含功能 异构数据存储、可靠、安全、低成本、可弹性扩展的数据同步平台 数据集成OceanBase批同步原理 数据集成OceanBase流同步原理 OceanBase日志抽取原理 DataWorks数据集成后续规划 流批一体同步引擎 DataWorksxOceanBase数据开发流程 DataWorks对OceanBase有全方面的支持 Step1:配置OceanBase数据源 基础信息配置和复用 数据源记录了数据存储的连接访问信息，是后续数据集成、开发、分析的的前提基础配置 多种配置模式和网络环境支持支持实例模式、连接串模式、本账号、跨账号、跨地域等各种配置形式和网络打通 环境隔离和安全控制支持开发、生产环境隔离，支持数据源权限安全控制 Step2:配置OceanBase->云数仓同步 典型场景：OceanBase中存储面向OLTP数据，数据汇聚到数仓平台（MaxCompute、Hologres等）挖掘数据价值 Step2:配置MySQL/MaxCompute->OceanBase同步 典型场景：OceanBase汇总存储分析型数据做OLAP分析；OceanBase存储分享结果数据支撑数据服务和数据应用 Step3:在DataWorks中对OceanBase数据执行分析 典型场景：配置和编排ELT数据处理工作流，帮助企业构建离线数仓、实时数仓与即席分析系统 Step4:在DataWorks中开发OceanBase数据服务 使用场景：帮助企业统一创建和管理对内、对外的API服务，解决数仓、数据库与数据应用间的“最后一公里” 零代码 零运维 蚂蚁银行新加坡分行：实现大集群模式的高效运维管理 OceanBase通过灵活的部署模式，以及多租户架构，实现大集群模式的高效运维管理 业务挑战 客户收益 解决方案 •私有化部署导致建站人力投入以及时间成本巨大•TP+AP技术栈分离，增加数据安全风险•大量实例同时带来与日俱增的运维成本 •通过OceanBase云化服务开箱即用减少部署周期以及运维成本消耗。并且通过OB 3.0 HTAP引擎，优化的整体的数据库链路架构，保持技术栈统一 •OceanBaseSaaS化复制能力，加速建站进程•松耦合的分布式架构，无需改变使用习惯，适用不同业务的需求•OceanBase即时分析能力，提高在线核对效率以及准确度，把控资金风险 公有云 降本增效 HTAP DataWorks全链路大数据开发治理平台 钉钉交流群 产品官网：https://www.aliyun.com/product/bigdata/ide 产品体验：https://workbench.data.aliyun.com/experience.htm#/ 学习路线：https://developer.aliyun.com/learning/course/81 客户案例：https://www.aliyun.com/activity/bigdata/bigdata-case-studies 谢谢 谢谢 谢谢