1-左兴宇-万级实例规模下的数据库可用性保障实践

vivo数据库运维简介

• 业务规模与数据库运维

  • 2018年至2021年间，存储产品数从8增加到11000+。
  • 实例数量从2700+增长到62000+。
  • 物理机数量从30000+增加到48000+。

• 核心业务

  • 核心业务全年可用性损失时长不超过53分钟。
  • 重要业务全年可用性损失时长不超过53分钟。
  • 一般业务全年可用性损失时长不超过262分钟。

• SLA及计算

  • 数据库SLA涵盖核心业务、重要业务、一般业务和其他业务。

可用性管理方法论和管理实践

• 故障发现

  • 确保100%发现故障，收集上下游信息。

• 故障预防

  • 检查架构是否有高可用性，是否能自动更新拓扑。
  • 通过巡检主动发现潜在问题，如主键ID越界。

• 故障复盘

  • 客观分析故障原因，挖掘根因，改进流程。

• 故障治愈

  • 制定并执行故障预案，实现系统自愈。

业务规模与可用性管理挑战

• 起步阶段（2018年）

  • 引入MHA，梳理元数据信息。
  • 编写数据库标准，建立部分流程。

• 建设阶段（2019年）

  • 引入数据库变更系统，推广Redis集群方案。
  • 提升平台能力至60%。

• 稳固阶段（2020年）

  • 校准元数据，优化架构。
  • 推动业务适配，输出故障预案。

• 拓展阶段（2021年）

  • 建设TiDB平台能力和KV存储平台。
  • 加强故障事前排查，提高修复效率。

平台能力对可用性的影响

• 存储产品

  • 包括MySQL、TIDB、MySQL-Proxy、MongoDB、ES、Redis、Redis-Proxy、磁盘KV、对象/文件存储等。

• 业务场景

  • 数据变更、数据查询、操作审计、数据归档等。

可用性和成本的冲突与调和

• VS可用性优先阶段

  • 目标是提升可用性，标准部署，收集数据库运营数据。

• 精细化运营阶段

  • 根据业务场景做差异化调整，释放非必要资源。

总结

• 平台能力

  • 是大规模运维的基石，大幅提升运维工作效率。
  • 通过标准化落地，保障可用性。

• 管理心得

  • 辨证看待历史包袱，统一标准，重视平台能力。