MySQL Oracle到Apache Doris数据实时同步技术实践

Asia2 Dori Asia2024 MySQL/Oracle到ApacheDoris DorisSummit Asia2024 数据实时同步技术实践 24 DorisSummit Summit 叶正盛NineData创始人&CEO Asia2 Dori 个人简介–叶正盛 Asia2024 叶正盛 DorisSummit NineData创始人&CEO 资深数据库与云计算领域专家 Asia2024 曾担任阿里云数据库产品管理与解决方案部总经理，阿里云技术架构与产品决策委员会核心成员 DorisSummit 阿里巴巴去IOE、异地多活、云计算多次技术变革核心成员 构建阿里巴巴&蚂蚁集团数据库DevOps体系 24 Summit 创立云计算数据传输DTS、数据管理DMS、数据库备份DBS、数据库自动驾驶服务DAS等多款云计算数据库产品 DorisSummit 目录01 02 数据库分类与数据复制简介NineData数据复制技术架构 Asia2 Asia2024 Asia2024 Dori 03技术测试 24 DorisSummit Summit 04客户实践 24 Asia2 Summit Dori Asia2024 01 DorisSummit DorisSummit Asia2024 数据库与数据复制简介 Asia2 数据库系统分类大图 Asia2024 强OLTPOLAP DorisSummit Asia2024 SQL 24 DorisSummit 弱NoSQL 小 数据量 大数据 大 Summit Dori 5 Asia2 国产数据库百花齐放 老牌关系型数据库 分布式关系型数据库 云数据库 数据仓库 NoSQL Asia2024 达梦OceanBase PolarDB Doris/SelectDB TDengine DorisSummit Asia2024 人大金仓 TiDB GaussDB StarRocks 巨杉数据库 南大通用 GoldenDB TDSQL 星环大数据 NebulaGraph 神舟AntDB DorisSummit …… GaiaDB … OushuDB … Milvus … Dori 24 Summit 墨天轮收录：227个，2024年通过国家安全评测17个 (*截至2024年12月) 6 Asia2 数据库与生态产品 数据库DevOps SQLIDE、CI/CD、性能优化、安全NineData 数据流(复制/集成) Asia2024 数据迁移、同步、ETL、订阅、分享NineData Asia2024 DBPaaS 24 资源调度、安装配置、备份恢复、监控告警、HA RDS 数据库引擎 DorisSummit OracleMySQL DorisSummit PolarDBMongoDBDoris … BI Summit 数据分析、挖掘、大屏PowerBI、帆软 Dori 7 Asia2 【多云多源】数据基础架构发展趋势 IDC、云平台 合规：全球化、国企成本：采购策略 Asia2024 技术选型：弹性、AI、分析避免锁定：技术中立 … 多云/混合云 75% DorisSummit Asia2024 过去现在 单一主数据库 Oracle/MySQL 多模：文字、表格、文档、日志架构：OLTP、HTAP、OLAP AI：图、向量、模型政策：国产化（中国） 多种数据库组合 73% Dori DorisSummit 云计算（多云/混合云）+数据库组合解决方案（多源） 24 Summit 调研企业： 字节跳动、小红书、米哈游、B站、小米、理想、小鹏、格力、美的、海尔、Minimax、Volvo中国移动、中国联通、中国电信、杭州银行、建设银行、光大银行、国家电网、中国石化OpenAI、Airbnb、Netflix、宝马、沃尔玛、Spotify、Dropbox、X(Twitter) 8 Asia2 NineData：安全高效的管理无处不在的数据 Asia2024 跨云/IDC私网连接 DorisSummit 本地IDC AnyWhere… AnyData 阿里 云GCP DorisSummit Asia2024 华为云 腾讯 云天翼 云 移动AWS云 Azure 24 … Dori Summit 9 Asia2 NineData云原生智能数据管理平台 数据开发 BI开发 业务运营 应用开发者DBA 系统管理 数据仓库/大数据平台 数据复制数据库DevOps Asia2024 应用消息队列 数据迁移数据实时同步 数据开发 AI代码审核 生产发布 DorisSummit 搜索平台 数据容灾 ETL 安全管控 云厂商 A 自建 IDC 自建 Asia2024 IDC 托管数据库（开源/自研/国产） 自建数据库 托管数据库 Dori 24 DorisSummit 丰富的数据源、云平台支持:RDBMS、NoSQL、数据仓库、大数据 Summit 10 Asia2 数据复制典型场景 DorisSummit Asia2024 实时数据迁移上云/国产化 MySQL->RDS DorisSummit Oracle->Doris Oracle>PostgreSQL 数据复制容灾 24 上海<->北京阿里云<->AWS云<->IDC ETL Asia2024 Oracle->DorisMySQL->DorisMySQL->TiDB 数据对比 结构对比数据对比 差异数据订正 Dori Summit 11 24 Asia2 Summit Dori Asia2024 02 DorisSummit DorisSummit Asia2024 NineData数据复制技术原理 Asia2 NineData数据复制架构图 用户控制台OpenAPI 数据源 NineData数据复制任务1 NineData数据复制任务2 数据源 Asia2024 结构复制（table/view/procedure…） DorisSummit Asia2024 全量数据复制(映射/过滤…) 增量数据捕获 数据传输队列 增量写入 结构对比全量数据对比增量数据对比 DorisSummit 子任务协同任务配置日志与监控 24 GatewayCloudLink 任务资源调度（Kubernetes) Summit 管理平台 日志存储 GatewayCloudLink Dori IDC阿里云腾讯云华为云百度云移动云AWSGCP… 13 Asia2 NineData数据复制：让数据自由流动，创造更多数据价值 Asia2024 北京 甘肃东数西算 远距离实时数据传输(迁移/同步/备份) 全球业务美国 DorisSummit Asia2024 杭州 24 丰富数据源 60+ 强劲性能 DorisSummit 10万RPS 业界领先 跨云内网传输 Summit 业界首创 超远距离实时传输 >10000公里 业界领先 Dori 14 24 Asia2 Summit Dori Asia2024 03 DorisSummit DorisSummit Asia2024 数据同步性能测试 DorisSummit Asia2 Asia2024 Asia2024 Dori NineData数据复制对比 对比维度 NineData Canal FlinkCDC 某云DTS 核心定位 多云多源实时数据复制 MySQL增量复制 大数据实时复制 数据迁移上云 劣势 商业产品 仅支持MySQL需要二次开发 易用性、稳定性差需要二次开发 非云中立，优先支持自家云数据库 数据源 60+种 类MySQL 9种 18种 全量数据迁移 33MB/s 32MB/s 31MB/s 27MB/s 增量数据迁移 2.7万记录/s 0.83万记录/s 不稳定 0.55万记录/s 结构迁移 全量+增量 全量（仅表对象） 全量（仅表对象） 全量 数据对比 支持 × × - 24 DorisSummit Summit 场景：MySQL->MySQL数据复制数据库硬件：2台ECS8c16G，ESSD 16 Asia2 高性能实时复制（MySQL>ApacheDoris） MySQL DorisSummit 全量+增量复制 Doris 性能数据 Asia2024 •全量迁移：~15.2万rows/s •实时同步：~3.1万rows/s •同步延时：<1s 测试数据库硬件 24 •MySQL：2c16G/SSD •ApacheDoris：2c16G/SSD 数据复制核心技术 Asia2024 •CDC日志解析（binlog） DorisSummit •分片读取与写入 •数据压缩 •多线程Streaming Summit •DDL支持（自研SQLParse） Dori 17 Asia2 高性能数据对比（MySQL&ApacheDoris） （百万记录/秒） DorisSummit MySQL DorisSummit 测试数据库硬件 数据对比 Doris 性能数据：429万行/s Asia2024 Asia2024 数据对比核心技术 •异构Hash •批量Hash •梯度Group Dori 24 Summit MySQL：32c256G/SSD ApacheDoris：32c256G/SSD 18 Asia2 高性能实时复制（Oracle->PostgreSQL）国产化去Oracle DorisSummit Oracle 增量复制 PostgreSQL 性能数据 Asia2024 •实时同步：4.5万rows/s •日志消费：100~200GB/小时 Dori 24 DorisSummit Asia2024 测试数据库硬件Oracle：4c32G/SSDPostgreSQL：4c32G/SSD Summit 19 跨城远程全量数据复制（云DTSvsNineData） 源数据库 记录数：19228685 Asia2024 全量迁移 目标数据库 Asia2 Dori DorisSummit DorisSummit Asia2024 MySQL2c4G（深圳）MySQL2c4G（上海） 对比维度 A云DTS B云DTS C云DTS D云DRS NineData 数据复制时间 511秒 315秒 失败 20分钟没响应后端日志显示失败 245秒 数据复制性能 37630rows/s 61043rows/s - - 78484 rows/s 数据对比时间 216秒 部分表失败 不支持 - - 113秒 24 Summit 20 24 Asia2 Summit Dori Asia2024 04 DorisSummit DorisSummit Asia2024 客户实践 Asia2 Dori 客户案例：中国移动云数据复制 Asia2024 主要问题与挑战 客户本身有很多数据需要同步，同时还要提供数据复制产品给他的客户使用，比如该云的客户从其他云厂商或自建系统中迁移上云。 DorisSummit Asia2024 应用场景复杂：包括迁移上云、跨云迁移、跨区域迁移、数据容灾、异地多活等业务场景。 网络环境复杂：Region内部/Region之间，和其他云厂商与客户自有系统之间等各种链路。 DorisSummit 使用成效 24 每天稳定运行的数据链路数百条。 Summit 通过NineData双向复制构建了超长距离（超过1000公里）的异地多活集群，支撑业务高稳定运行。 22 Asia2 Dori 客户实践：某医疗服务企业 核心需求：MySQL>ApacheDoris实时同步 Asia2024 主要问题与挑战 DorisSummit 实时性：为了保证业务的连续性，数据同步过程需要尽可能地实时。需要高效的数据传输和处理机制。 Asia2024 数据与结构同步转换：MySQL和ApacheDoris拥有不同