曹立江-中国联通超大规模 IT 系统下稳定性保障能力落地实践

超大规模IT系统稳定性保障的挑战

面临的挑战与痛点

• 应用几何级数增长，中间件快速变化，部署动态切换
• 故障快速发现、快速抢通、优化预防、快速定位困难
• 指标复杂难分析，系统调用关系复杂，云化架构下关联关系不清
• 全链路性能瓶颈和容量水位不明确，根因定位难，隐患无法提前治理

稳定性保障体系整体架构

• 工具建设历程：从工具产品化到制度、管理体系化，借鉴行业经验逐步演进
• 运营保障支撑体系：围绕“一个目标，四大保障，十二项核心工作，七个关口”构建
• 数字化监控平台：基于云原生，提供端到端、全层级运维工具支撑，融合大数据与AI技术

故障场景的稳定性保障能力落地

• 故障发现：
  • Metric监控：全层级指标数据采集与标准化，提供可观测性数据基础
  • Trace链路分析：跨系统、跨云平台链路拓扑，方法级根因定位（接入应用7000+，日均处理1000亿数据）
  • LOG：统一规范日志采集与检索，提升故障定位效率
  • 全层级监控告警：分级管理，6级角色逐层升级，确保及时响应
• 故障定位：
  • 一键故障诊断：纵向贯通全层级，结合CMDB关联定位，实现端到端快速根因定位（诊断率达75%）
• 故障应急：
  • 自动化应急处置：构建告警自愈（月均自愈作业1000+次，成功率96%）和自动化应急预案（月均执行100+次，生效率80%）
• 故障预防：
  • 变更管理：从流程合规到全层级轨迹追踪与强制拦截
  • 隐患治理：定期评估容量、链路、系统健康度，闭环治理潜在风险
• 故障闭环管理：实现事前、事中、事后全流程线上闭环，提升管理效率

稳定性保障成效

• 核心+重要系统可用率99.85%
• 24年避免83起突发事件升级为故障
• 全层级实时监控，1分钟故障发现
• 集中业务系统故障显著压降（23年同比21年数量下降90.58%，历时下降87.74%）
• 全链路深度追踪，5分钟故障根因定位
• 自动化应急预案，15分钟故障快速抢通
• 灵魂拷问、举一反三、100%故障闭环追踪
• 应急演练、健康检查、智能自愈三重保障