阿里云弹性计算智能化监控诊断的探索和实践-张尤

阿里云弹性计算（ECS）智能化监控与诊断探索与实践

一、业务背景与难点

• 基础设施规模：200+可用区，3000+网络和CDN节点，50+数据中心区域，5000+集群，100万+设备，1亿+部件。
• 业务领域广泛：包括GPU计算、FPGA计算、高性能数据库、数据处理任务、广告游戏、科学计算等。

二、监控诊断发展历程

• 2010年：飞天底座监控上线
• 2013年：天基监控接入
• 2016年：XFlush IDC硬件监控上线
• 2017年：智能运维决策大脑上线
• 2018年：内存故障预测上线
• 2019年：监控采集Agent重构
• 2020年至今：全链路诊断平台上线，智能运维决策系统发布

三、我们的方案

• 数据采集：采用SLS、ODPS等系统进行数据采集，并通过ODPS定时导入。
• 异常根因诊断：利用MaxCompute离线异常特征进行异常计算，通过知识图谱和FP-Tree频繁项集构建诊断模型。
• 智能运维决策：通过规则引擎和事件触发器进行智能决策，支持多种运维操作，如强制重启、内存压测下线等。

四、挑战与解决方案

• 根因诊断：如何在大量异常中准确找到根因，提高诊断的可解释性。
• 模型迭代：随着业务发展，如何自适应迭代诊断模型。
• 评价体系：通过假设检验和方差分析等方法评估运维决策的效果。

五、评价体系

• 有效性评价：通过单因素方差分析和功效分析评估不同运维策略的效果。
• 工程落地：确保新策略的安全高效部署，通过HashRing等方法选择对照组。

小结

通过上述架构和方法，阿里云ECS实现了从数据采集到智能诊断再到决策执行的全流程自动化，显著提升了系统的稳定性和可用性。