谷林涛-BCM：B 站混沌平台能力的建设和落地

BCM混沌平台的建设与落地实践

B站混沌工程背景

• 缘由：故障频发，技术改造需求迫切。
• 痛点：可用区切换不生效、应用依赖不合理、中间件异常扩大影响、演练工具多样但成本高、安全性不可控。
• 目标：模拟真实故障，研发自驱执行常态演练，保鲜演练效果。

从演练的生命周期说起

• 演练标准流程：涵盖演练前、中、后的关键事项，提供标准化SOP规范流程。

混沌平台的架构与核心能力

• 设计目标：降低用户成本，提供标准操作流程，赋能用户快速上手，保障演练安全可控。
• 整体架构：包含丰富的演练场景、标准的流程编排、可靠的护栏观测。
• 核心能力：
  • 降低用户门槛：接入不同演练工具，实现参数转化。
  • 统一演练流程：制定标准SOP，对用户透明。
  • 常态化演练：定时调度和突袭演练，验证迭代中的有效性。
  • 演练工具接入：调研开源社区，抽象演练协议，快速接入。
  • 标准化监控和护栏：接入多种监控平台，多重保障演练安全。

业务最佳实践

• 混沌底层能力——基于ChaosBlade实践：
  • 背景：ChaosBlade能满足大部分演练诉求，但存在观测性问题、注入逻辑问题、无鉴权和业务监控。
  • 方案：自建BCM-Engine（BCM-Agent和BCM-Blade），解决上述问题。
• 最佳实践——跨可用区断网验证：
  • 背景：多活改造业务缺乏验证手段。
  • 设计：通过网络资源对接，打通缓存和数据库平台，提供白名单配置，使用ChaosBlade的网络不可用原子场景。
  • 结果：完成20+演练，发现50+问题，持续推进验证。
• 混沌底层能力——基于网络不可用的实践：
  • 背景：网络元信息数据获取和攻击参数构建成本高。
  • 方案：打通内部平台，集中元信息，验证ChaosBlade场景注入符合预期。
  • 结果：支持数据库、缓存、应用依赖等多种场景的演练。

一次演练流程与业务效果

• 业务演练数据：场景包括跨可用区断网、缓存不可用/延迟、数据库不可用/延迟、域名不可用、依赖不可用/延迟等。
• 问题：验证出代码边界问题、数据库配置错误、缓存超时异常、依赖不合理等问题。
• 业务：完成演练，发现业务、架构、中间件问题，推进持续迭代。

高效运维社区DevOps时代

• 荣誉出品
• 感谢观看