蚂蚁集团变更管控实践

变更管控的意义

• 系统复杂度无法避免，任何设计系统的组织产生的所有设计都将受限于组织间的沟通结构。
• 变更是导致线上稳定性问题的主要引发因素，编码和变更问题占比超过一半。
• 随着企业/业务体量的增大，研发模式必然会向着更多元、更复杂的形式演进，沟通成本与信息差增加。

变更管控的方法与架构

• 如何定义变更：
  • 变更是对线上服务“状态”的修改，操作由内部人员发起。
  • OCMS（OpenChangeManagementSpecification）从技术视角定义变更的信息与技术模型，兼容不同背景下的各类变更，做到“统一化”。
  • 代际名称及支持的变更流程和生效方式：
    • G0：事件通知，不提供管控能力。
    • G1：单节点变更流程管控。
    • G2：完整工单变更流程管控。
    • G3：增加变更提单阶段管控。
    • G4：增加变更无人值守的决策能力。
• 如何防控变更中的风险：
  • 不可能100%提前发现所有问题，但可以使变更引发的风险可控/可接受。
  • 相对完善的前后置防御能力，随着变更的持续执行，风险的发生概率逐步收敛。
• 灵活的变更防御框架：
  • 防御能力路由：通过配置表达式形式，路由到不同防御能力集合。
  • 防御能力调度与并行执行：各防御能力间相互独立，按统一结构返回。
  • 开放性的防御SPI：不同部门/业务的风险防控人员可集成FaaS化的防御校验逻辑。

变更防控如何智能化

• 从研发的视角入手：
  • 监控CPU利用率、日志Error、上下游系统服务报错等时序指标异常。
  • 日志堆栈异常检测：新增/突增异常检测。
  • 上下游系统服务报错：链路异常检测。
• 时序指标异常检测：
  • 训练阶段：将通用错误日志中的异常信息进行正则化处理，分类构造日志模板库。
  • 预测阶段：将实时采集的异常日志信息进行正则化处理，与模板库相似度拟合，得出异常结论。
• 日志堆栈异常检测：
  • 训练阶段：正则化处理通用错误日志，分类构造日志模板库。
  • 预测阶段：正则化处理实时异常日志，与模板库相似度拟合，得出异常结论。
• 上下游系统服务报错：
  • 简单模式：通过trace日志聚合反映系统间调用异常及业务错误码变化，但计算量庞大。
  • 结合中间件：每笔流量携带特殊标记透传，明确感知流量经过系统链路，实现整条链路异常检测。
• 配置值自适应校验。

我们的未来规划

• 开源社区：AlterShield：
  • 云原生场景快速集成：通过KubernetesOperator机制，将OCMS部分下沉到集群中，实现滚动升级场景的免接入。
  • AlterShieldOperator提供分批发布的托管方式，无需集成其他CI/CD工具。
  • AlterShield及其Operator计划于11月初推出v1.0正式版本，支持上述云原生场景的快速集成。