中国联通数字化监控平台稳定性保障工具落地实践

中国联通数字化监控平台稳定性保障工具落地实践

稳定性保障工具演进历程

• 工具职责范围演进：从单一系统应用维度根因定位，逐步扩展至被动应急故障统一调度、系统具备应急预案、故障点人工恢复、统一变更入口，最终实现几百套系统跨系统全链路定界诊断和主动预防，集团及分子公司整体态势感知和混沌工程故障自愈。
• 演进挑战：分布式架构、运维生态、数智运维带来的挑战，包括端到端稳定性保障体系缺失、自动化智能化故障处理能力不足、故障处理依赖专家经验且未沉淀为有效资产、故障被动防御、运维大数据未被合理挖掘、工具重复、能力割裂、数据孤岛、系统节点和微服务数量激增、调用关系复杂、数据分片存储等。
• 建设历程：分为工具化建设（2019）、产品化建设（2020-2021）、体系化建设（2022-2023）三个阶段，通过四大保障（制度规范、组织架构、平台工具、运营机制）聚焦研运流程四个阶段（研发、测试、生产、变更运营支撑），对应十五项核心工作，严格把控七个关口，实现安全生产稳定性保障左移。
• 核心目标：做实安全生产，提升IT系统稳定性，架构设计研发测试生产变更运营支撑全流程提供端到端工具支撑。

稳定性保障工具落地场景及成效

• 聚焦领域：数字化监控平台聚焦全栈可观测性，涵盖业务层、前端触点层、网关层、应用层、组件层、资源层，实现故障快速发现、根因准确定位、故障快速恢复、问题深度刨析。
• 可观测性建设：
  • 指标：涵盖业务、前端触点、应用、云平台、组件、基础资源的全层级指标数据采集及标准化，统一接入、存储、分析处理。
  • 链路追踪：支持跨系统、跨云平台、跨数据中心链路拓扑，接入应用6000+，日均处理600亿数据，实现跨系统调用实时追踪和方法清单级根因定位。
  • 日志分析：通过统一规范的日志采集、分布式存储、实时检索与异常检测，应对分布式云化技术架构下剧增的集中系统日志数据量挑战。
  • 一键故障诊断：实现触点层、应用层、组件层、平台层、主机层、网络层纵向贯通，结合云化CMDB关联定位，建立故障传递模型，实现全层级一键诊断，端到端快速定位问题根因，当前覆盖16套核心系统，诊断率达68%。
• 故障自愈：通过告警+故障诊断+自动化运维+应急能力，实现事件根因自动诊断，结合故障知识树分析，自动完成应用实例查杀、重启、扩容、组件主备切换、流量限流、磁盘清理等多种故障自愈场景，月均自愈作业执行1000+次，自愈操作平均执行耗时3s内。
• 系统隐患预防：
  • 系统健康检查：自动获取全层级核心黄金指标，通过AI算法分析，优化层级实体健康度算法模型，进行全层级隐患分析，实现系统健康状态档案化管理，分析系统潜在问题，保障核心业务连续性。案例显示，系统风险隐患压降98%+。
  • 稳定性测试：增强调用链探针能力，实现全链路读、写流量压测，有效评估业务容量水位，全链路节点性能瓶颈定位。
• 变更管理：实现生产运营流程线上化统一管理，统一线上化流程制定、申请、审批入口，IaaS、PaaS、SaaS全层级变更轨迹追踪。
• 故障闭环整改：实现故障事前、事中、事后全流程线上闭环管理，提升故障管理质量和效率，降低故障时长及次数，提升业务连续可用率。

当前面临的挑战及未来展望

• 当前挑战：
  • 业务监控梳理难度大，尤其跨部门、跨分子公司。
  • 链路中网关、虚拟网络、物理网络自动拓扑难度大。
  • 应急预案自动化、容量隐患评估自动化程度不足。
  • 智能化、自动化程度仍需提升。
• 未来展望：
  • 面对数字化高速发展、国际竞争、开源软件供应链、大模型发展等挑战，需提高系统安全生产保障的诉求和产品适配能力，拥抱开源并实现自主可控，探索大模型在数字化发展进程中的作用。
  • 机遇在于数字化道路的发展、更复杂的系统、信创浪潮、大模型的发展，带来更高的系统安全生产保障需求、更强的产品适配能力、更多的产品可能性、信息获取方式的变革、技术的变革和创造的变革。