陈彦霏-数字化赋能IT应急管理场景建设实践

背景概况

• 数字化运维体系建设目标：广发证券以“1234”思想打造“组织、流程、平台、场景”四位一体的运维数字化体系，实现“安全、稳定、引领”的战略目标，支撑数字化转型。
• 数字化应急需要解决的痛点：通过分析交易系统历史故障，确定“备份容灾、操作管控、应用变更、应急预案、应急演练、性能容量、监控预警、应急处置、新技术应用管控”等是引发生产故障的关键因素。
• 数字化应急场景方法论：围绕“事前、事中、事后”应急管理全在线，提升应急能力；建立数字化应急管理场景模型，整合“组织、流程、平台”能力，制定工作机制。

数字化应急管理场景

• 平台赋能：建立事前“故障预防”，事中“故障发现、故障响应、故障定位、故障恢复”，事后“复盘改进”的数字化应急指挥模型。
• 1套总线：连接“人、流程、工具、数据、机器人”，具备一键建群、集结升级、执行预案、触达下游系统、机器人督导、资源调度、辅助定位等功能，实现应急过程和效能全数字化。
  • 构建事前风险防范体系：主动挖掘风险，赋能运维左移，提升系统架构韧性。
  • 整合多种渠道，更快发现异常：多角色、多终端、多渠道支持，实现秒级启动。
  • 快速响应，识别故障：多类型专业性机器人辅助应急指挥，连接可观测数据。
• 2台引擎：
  • IT运行风险保障感知：围绕核心交易、数据库、终端性能、客户体验等主题，构建全方位风险感知能力。
  • 业务运营赋能的数字化感知：围绕终端用户行为，建立业务运营指标模型，实现多元业务运营感知。
• 3项机制：
  • Oncall：ECC指挥作战、值班管理、监控管理、值班经理机制。
  • 应急管理：应急协同、应急响应、应急预案、故障复盘。
  • SLO机制：韧性架构（L1~L5）、BCP业务连续性、数据中心容灾。
• 4个角色：公司领导、技术部门领导、运维值班经理、运维岗、研发岗、测试岗、产品需求岗、外联岗等，支持扩展到上下游相关岗位。
• ChatOps机器人：40+团队应用，500+个机器人，3000+个机器协同群，发挥重要作用。

从ChatOps到LLMOps的探索

• ChatOps场景建设演进：
  • 无代码ChatOps配置平台：解决研发挑战，模型抽象，支持数据源接入、推送渠道、执行调度、消息模板配置。
  • 大模型AIAgent应用探索：
    • 应用场景：CMDB配置信息查询机器人、报错日志分析、大模型告警分析、大模型消息模板生成助手。
    • 效果：开发效率高、通用服务化、需求响应快，但需注意大模型幻觉问题。
• 大模型应用规划展望：高效运维社区DevOps时代。