多元融合创新——国金证券数据库资源池化探索与实践

研报内容总结框架

一、背景与目标

• 背景：券商数据库架构建设面临的挑战

  • 挑战1：数据库“孤岛”
    • 多种类数百套数据库，服务器+集中式存储，形成“孤岛”。
  • 挑战2：激增业务的访问效率
    • 多并发访问导致业务压力激增，需高并发低时延。
  • 挑战3：复杂环境的管理效率
    • 多元异构数据库环境，推进国产化信创建设，管理要求更高。

• 数字化&国产化时代，数据库需要怎样的运行环境

  • 数据库管理：从基础设施管理到全栈管理（数据库+基础设施）。
  • 数据库承载架构：从集中式高并发到分布式高并发+低时延。
  • 环境变化：多元异构数据库环境常态化，国产化不可逆。

• 目标：数据库资源池化建设，构建DBaaS平台能力

  • 核心目标：
    • 构建多元数据库云化管理平台。
    • 完善多元数据库运维管理规范。
    • 推进标准化数据库资源规划与建设。
    • 基于国金现有平台，实现数据库云化自动运维管理。
  • 推进路径：
    • 一体化融合架构（软件定义存储+通用服务器）。
    • 高性能数据库资源池基础架构。
    • 扩展多元数据库管理智能化融合能力。

二、规划与建设

• DBaaS平台技术选型依据及考虑因素

  • 技术成熟度：综合评估成本投入与预期效益，选择性价比最高方案。
  • 团队技能：考虑现有技术团队的学习能力，选择易掌握和运维的技术。

• DBaaS平台建设三步走

  • 1. 存储架构选择
    • 集中式存储：传统架构，适合小数据量、低扩展性场景。
    • 分布式存储：新型架构，适合大数据量、高并发场景。
  • 2. 一体化融合架构
    • 软件定义存储+通用服务器，统一管理硬件与软件。
  • 3. 集成专业数据库管理
    • 全栈自动化运维管理（监控、告警、巡检、高可用等）。

• DBaaS平台技术架构与实现

  • 分层架构设计：存储资源池层、网络层、计算资源池层、运维管理节点层。
  • 资源池化实现：高性能物理服务器整合成资源池，统一计算、存储和网络资源。
  • 统一运维管理：全栈管理能力，自动化部署与监控。
  • 高可用与容灾设计：多副本、多节点、数据快照等技术保障高可用性。

• 首批改造案例

  • 业务迁移：OA、短信、CRM三类业务，Oracle、MySQL、达梦等数十套数据库，近40TB数据迁移至分布式存储一体机。
  • 分布式存储配置：3节点，每节点IOPS达40万以上，总IOPS超百万。

• DBaaS平台测试结果

  • 性能对比：分布式存储zData X vs 本地盘RAID10/RAID6，性能显著提升（如并发64时，zData X tpmC达66.50万，比RAID10提升7.7%）。

三、成果与创新

• 性能提升

  • DB Time降低至原来的1/20。
  • SQL语句执行时间及I/O响应时间大幅提升（SQL执行时间1/12，IO响应时间1/6）。
  • 多项业务模块查询速度平均提升20倍以上。

• 资源利用率与扩展性提升

  • 资源利用率提升40%（通过设备利旧，采购少量服务器实现环境上线）。
  • 分布式存储支持在线扩展，轻松增加节点数量和存储容量。
  • 支持不同存储介质和品牌，提供更多选择和灵活性。

• DBaaS平台分布式存储架构的优势

  • 灵活性：灵活增减存储资源，适应业务需求。
  • 可靠性：全冗余部署模式，数据快照和容错技术保障数据安全。
  • 高效性：并行处理和I/O优化技术提升数据处理效率。

• DBaaS平台建设关键技术创新点及优化

  • 自动化运维管理：数据库自动化部署、监控和运维管理。
  • 智能优化调整：基于实时和历史数据智能分析性能瓶颈并自动优化。
  • 资源隔离与安全保障：多数据库实例间资源隔离，保障数据安全。
  • 灵活扩展与快速响应：支持资源动态在线扩展，提高业务敏捷性。

四、未来展望

• 核心数据库及信创建设
  • 横向拓展：更多数据库类型纳入资源池管理。
  • 纵向拓展：分布式数据库资源池建设。
  • 安全性与可靠性强化：全面安全措施和技术手段保障数据安全。
  • 全栈信创平台资源池建设：满足安全自主可控和业务稳定支撑目标。

五、实施效果评估与总结

• 性能提升：DB Time下降至1/20，SQL执行时间1/12，IO响应时间1/6。
• 成本效益分析：资源利用率提升40%，多项业务查询速度提升20倍以上。
• 经验总结：为未来数据库资源池化提供参考。