去哪儿网1-5-10故障体系建设：根因分析实践 - 梁成琰

梁成琰：故障治理框架与实践

个人简介

梁成琰，去哪儿网资深SRE工程师，在基础架构团队负责CICD、可观测性、AIOPS等工作，推动完成容器化落地、监控平台升级、根因分析和预案平台建设，为云原生SIG成员，专注于研发效能提升。

目录

• 模型持续验证
• 故障治理框架
  • 故障治理难点
  • 故障治理框架-定义与度量
  • 故障治理框架-1-5-10定义
  • 故障治理框架-落地工具
• 定位慢-原因分析
  • 信息差
  • 交互复杂，链路长，难定位
• 故障定位-根因分析
  • 根因分析-整体思路
  • 根因架构设计
    • 模型构建-思路
    • 模型构建-步骤
      • 01 知识图谱构建
      • 02 异常应用断言
        • 异常应用断言
        • metric &链路结合
        • 异常应用断言-trace筛选
      • 03 异常应用分析
        • middleware分析
        • 应用获取对应namespacemysql报警redis报警
        • log分析
        • 发布事件配置变更压测event分析
        • 异常应用分析-runtime分析
        • 异常应用分析-事件分析
          • 链路事件
          • 全局事件
          • 网络变更基建变更负载均衡全链路压测
          • 下游配置变更下游发布上游qps陡增分析上游特定事件分析
      • 04 异常关联分析
        • 异常关联分析-timer告警分析
      • 05 聚合分析
        • 聚合分析-权重体系
          • 权重体系-应用权重
          • 权重体系-动态权重
          • 权重体系-强弱依赖权重
        • 聚合分析-AI summary
      • 结果输出-可视化
      • 模型构建-架构
• 模型持续验证
  • 模型验证
    • 1线 上 真实 故 障c a s e验 证
    • 2结 合演 练 验 证 准确 性
    • 3构建lab环•业务 应用 接口的 强 弱 依 赖 演 练•业务 攻 防 演 练•故 障 混 沌 演 练
• 应用实践
  • 核心报警分析
  • 故障根因推送
• 未来规划
  • 未来规划
    • 异常日志分析策略优化、模型权重调优、深度结合业务场景定制
    • 体系闭环
    • 结合业务类变化归因
  • 当前根因分析主要依靠系统类异常分析，业务侧的指标数据变化等无法归因，结合业务侧的归因实践提升根因覆盖范围