张鹤-券商核心交易系统 AIOps 探索实践

核心交易系统特点分析及AIOps落地实践

核心交易系统特点分析

• 运行特点：
  • 每周进行一次常态化版本升级，每月进行一次大版本升级，变更频繁。
  • 与70+个上下游系统交互，影响面广。
  • 日均订单量1500万+，交易日峰值TPS11万+，访问量大。
  • 部署700+台服务器，业务复杂度高（1000+类交易场景，10000+个服务）。
  • 交易、结算等核心业务实时性要求高，属于关键信息基础设施，要求等保三级。
• 运维痛点：
  • 版本质量问题：外购模块偶发版本质量问题，变更频繁导致生产问题。
  • 可观测性问题：缺少traceId，难以实现业务全链路故障分析；日志量巨大（日均3000万+），难以发现问题。
  • 运维专业性要求高：故障应急响应需快速且控制操作风险。

AIOps落地与实践

• AIOps体系架构：涵盖毛刺风险分析、内存清算耗时异常检测、集中交易日志异常检测、磁盘占用率预警、全业务运行画像等场景。
• 核心AIOps场景：
  • 毛刺风险分析：
    • 背景：核心功能号实时性要求高（10ms内，无波动），固定/动态阈值告警无法感知瞬时突变。
    • 意义：提升监控保障能力，帮助SRE发现潜在风险。
    • 实践：通过毛刺风险工单跟踪SRE分析反馈，支撑早开盘期间核心接口服务跟踪。
  • 内存清算耗时异常检测：
    • 背景：内存清算过程影响巨大，需重点保障；清算步骤执行结果监控未全面覆盖，业务原因可能导致执行时长增长触发超时。
    • 意义：提升异常感知能力，提早发现执行时长的突变与渐变。
    • 实践：清算全过程集中管理，实时展现清算成功、失败、异常情况。
  • 集中交易日志异常检测：（具体实践未展开）
  • 磁盘占用率预警：
    • 背景：市中/重保期间磁盘占用率告警（低级85%，高级95%）触发清理文件操作影响较大。
    • 意义：将告警升级为预警，减少应急操作，推动自动清理日志任务。
    • 实践：纳管生产环境2万+机器，平均每月发现24次磁盘占用率预警。
  • 全业务运行画像：
    • 背景：前期仅关注应用层、计算资源层告警，业务运行情况感知不足。
    • 意义：自动生成全量业务，提升业务监控感知能力。
    • 实践：可针对性地进行业务监控能力提升及场景测试。

AIOps建设问题探讨

• AIOps建设成效提升关键点：
  • 加强联合运营：SRE与开发人员持续反馈修正，提升分析准确性。
  • 业务场景定制：结合系统实际业务场景进行定制化分析。
  • 夯实数据底座：完善监控成熟度及CMDB数据，确保模型训练准确性。
• AIOps运营体系：通过联合运营、业务场景定制、数据夯实，提升AIOps建设成效。