于海影-利用混沌工程进行强弱依赖演练及攻防演练

价值分析

• 混沌工程介绍：概念是指在软件开发中，通过引入故障来测试系统在故障发生时的表现，确保系统具备足够的韧性，能够容忍故障并保证服务质量。目标是将不确定因素转化为可预测和可管理的问题，建立系统在生产环境中抵御不可预知问题的信心。
• 混沌工程收益：
  • 用户：稳定的用户体验，测试提前发现隐患并降低故障复发率。
  • 开发和运维：提升故障应急效率。
  • 系统：完善故障治理体系，从被动发现转为主动发现故障，验证报警有效性和预案可行性，提升系统容错和容灾能力。

流程与实践

• 人：用户、开发和运维团队通过混沌工程提升系统韧性，完善故障治理体系。
• 系统：提升系统容错、容灾能力，确保系统可监控、可回滚、可降级。
• 混沌工程平台：应用层次架构，实践路径包括应用演练和技术选型。
• 应用演练：目标是通过弱依赖挂掉测试主流程是否受影响，关注强弱依赖超时、熔断和异常处理。
• 技术选型：混沌工程平台与自动化测试平台结合，对压测流量进行识别和故障注入，实现线上无损演练。

自动化闭环演练

• 演练流程：
  1. 服务治理依赖关系收集。
  2. 用户标记依赖关系。
  3. 进行强弱依赖演练。
  4. 问题修复结果确认。
• 断言方法：对比入口结果数据，标记核心监控和指标，及时熔断。
• 断言标准：C端用户功能是否受影响，核心数据（金额、订单）是否正确。
• 效果：覆盖21个核心入口，2800个依赖，发现不合理依赖96个，演练成本由260PD降低到10PD。

攻防演练

• 攻防演练：攻击方注入攻击点，防守方排查并上报，攻击方确认攻击点是否正确。