MySQL Oracle到Apache Doris数据实时同步技术实践

数据库分类与数据复制简介

• 数据库系统分类：大小、SQL强弱、数据量等方面，包括关系型数据库（如MySQL、Oracle）、NoSQL数据库、大数据平台等。
• 国产数据库发展：达梦、人大金仓、南大通用等227个国产数据库，其中17个通过2024年国家安全评测。
• 数据库与生态产品：数据库引擎（Oracle、MySQL、PolarDB等）、数据库DevOps工具（SQL IDE、CI/CD等）、NineData数据流（复制/集成）、NineDataDBPaaS（资源调度、备份恢复等）。
• 多云多源数据基础架构发展趋势：75%企业采用多云/混合云，73%企业采用多模数据库组合，合规性、成本、技术选型成为关键因素。
• NineData云原生智能数据管理平台：支持Any Data、Any Where，提供数据复制、数据库DevOps、数据迁移等功能。

NineData 数据复制技术原理

• NineData数据复制架构：包括增量数据捕获、增量写入、数据传输队列、全量数据复制、结构复制、任务配置、日志与监控等。
• NineData数据复制优势：支持60+种数据源，远距离实时数据传输（>10000公里），跨云内网传输，业界领先性能（10万RPS）。

数据同步性能测试

• NineData数据复制与Canal、Flink CDC、某云DTS对比：NineData支持更多数据源，性能更优，易用性更高。
• 高性能实时复制测试（MySQL > Apache Doris）：全量迁移约15.2万rows/s，实时同步约3.1万rows/s，同步延时<1s。
• 高性能数据对比测试（MySQL & Apache Doris）：约429万行/s，采用异构Hash、批量Hash、梯度Group技术。
• 高性能实时复制测试（Oracle > PostgreSQL）：实时同步约4.5万rows/s，日志消费100~200GB/小时。
• 跨城远程全量数据复制对比：NineData性能优于云DTS，数据复制时间245秒，性能37630 rows/s。

客户实践

• 中国移动云数据复制：解决复杂应用场景和网络环境问题，每天稳定运行数百条数据链路，构建超长距离异地多活集群。
• 某医疗服务企业：MySQL > Apache Doris实时同步，稳定运行1年，边缘部署架构，DDL实时同步。
• 某国有银行数据库国产化迁移同步：满足去O、国产化数据库选型、数据同步质量与性能需求。
• 沃尔沃：数百数据库实例近千研发人员，从DMS全部迁移到NineData，保障生产环境变更符合稳定性规范。
• 绿城中国：统一访问与权限管理，数据库变更管理规则规范，支持多种数据库和功能。
• MiniMax：1个DBA管理数百个数据库，4朵云数百个数据库接入，1个月完成数据库DevOps全面上线。