分布式数据库容器化建设需求研究
一、目标
随着金融行业数字化转型的深入，分布式数据库容器化已成为一种趋势。其灵活性、可扩展性和高可用性，可显著提高自动化程度、部署和运维效率、资源利用率和数据安全性。本文从金融行业视角，研究分布式数据库和容器技术，给出分布式数据库容器化建设方案。
二、技术分析
（一）分布式数据库技术
- 数据分布：采用Shard-Nothing架构，数据通过多副本保存在不同的数据节点，支持指定分片键分布和默认分片方式。
- 分布式事务：实现单机数据库的ACID理论，通过两阶段提交（2PC）、三阶段提交（3PC）和SAGA事务处理方案，确保数据一致性。
- 架构：包括管理模块、计算模块和存储模块，具备高扩展性、高可用性和分布式事务强一致性。
（二）容器技术
- Pod：最小工作单元，包含一个或多个容器，支持可管理性和通信资源共享。
- 调度：通过K8s调度器实现节点预选、优先级排序和节点择优，确保资源公平分配。
- Service：定义访问Pod组的方法，提供固定的IP地址和DNS名称。
- 存储：支持多种存储卷类型，包括emptyDir、hostPath、GCEPersistentDisk等，提供持久化数据管理。
三、运维需求分析
（一）调度
- 资源评估与约束控制：通过监控组件实时采集节点资源指标，控制负载水平和剩余容量。
- 服务分级调度：根据业务重要性、服务等级协议（SLA）和业务访问模式进行分级。
- 智能混部与负载错峰：通过持续监控资源使用情况，进行智能调度优化。
- 主机组隔离：根据不同业务负载运行在不同的Node分组中。
- NumaNode调度：考虑跨Numa访问对性能的影响，优化资源分配。
（二）变更
- 配置变更：评估变更影响，制定变更流程和审批机制，建立配置管理和版本控制机制。
- 资源变更：持续监控性能指标和资源利用情况，评估资源状态并制定变更决策。
- 版本变更：制定升级策略和风险评估，采用滚动升级或蓝绿部署方式，确保数据一致性。
（三）切换
- 故障自动切换：通过心跳机制检测leader状态，自动选举新leader，重定向流量并恢复复制拓扑。
四、应用需求分析
- 一致性校验：确保数据一致性。
- 容灾：提高数据高可靠性和服务高可用性。
五、建设方案
- 分层抽象：设计管理平台API。
- 管理平台API设计：标准化接口设计，支持多种部署模式。
- OPENAPI标准化：实现接口标准化，提高互操作性。
六、展望与计划
通过持续优化和改进，进一步提升分布式数据库容器化的性能、可靠性和用户体验。
